토픽 (3개)
agent-evaluation-benchmarking 9건
에이전트의 복잡한 작업 수행 능력을 정량화하기 위해 다양한 도메인별 벤치마크가 쏟아져 나오고 있습니다. 단순히 성능을 측정하는 것을 넘어, 실제 업무 환경에서의 신뢰성, 안전성, 그리고 에이전트 간의 상호작용을 어떻게 평가할지에 대한 방법론적 고민이 깊어지고 있습니다.
- [arxiv] Harness-Bench: Measuring Harness Effects across Models in Realistic Agent Workflows
- [huggingface] ITBench-AA: Frontier Models Score Below 50% on the First Benchmark for Agentic Enterprise IT Tasks — by Artificial Analysis and IBM
- [arxiv] A Unified Framework for the Evaluation of LLM Agentic Capabilities
agent-governance-safety 7건
에이전트가 자율적으로 판단하고 행동함에 따라 발생하는 프라이버시 침해, 정렬 실패(alignment faking), 그리고 예기치 못한 행동에 대한 통제권 확보가 핵심 과제로 부상했습니다. 기술적 안전성을 넘어 정책적, 거버넌스적 관점에서 에이전트의 운영을 어떻게 감시하고 제어할지에 대한 연구가 활발합니다.
- [arxiv] When Context Flips, Safety Breaks: Diagnosing Brittle Safety in Aligned Language Models
- [arxiv] Operational AI Deployment Assurance: Governance-State Orchestration Under Threshold-Sensitive Deployment Conditions -- A Governance Framework for High-Stakes AI Systems
- [arxiv] Intelligence as Managed Autonomy: Failure, Escalation, and Governance for Agentic AI Systems
agent-memory-skill-internalization 5건
에이전트가 새로운 지식을 습득하거나 특정 기술을 내재화하는 과정을 최적화하려는 시도가 늘고 있습니다. LLM의 파라미터를 직접 수정하지 않고도 전용 메모리 모델을 활용하거나, 경험을 통해 기술을 점진적으로 개선하는 방식 등 에이전트의 지속적인 학습 능력을 강화하는 방향으로 기술이 발전하고 있습니다.
- [marktechpost] MEMO: A Modular Framework for Training a Dedicated Memory Model on New Knowledge Without Modifying LLM Parameters
- [arxiv] SKILLC: Learning Autonomous Skill Internalization in LLM Agents via Contrastive Credit Assignment
- [arxiv] PEAM: Parametric Embodied Agent Memory through Contrastive Internalization of Experience in Minecraft
당일 수집된 원문 아이템 (62건)
How Endava builds an agentic organization with Codex
Endava가 Codex를 활용하여 에이전트 중심의 조직을 구축하는 사례를 소개하는 내용이다.
Perplexity AI Open-Sources Unigram Tokenizer That Achieves 5x Lower p50 Latency Than Hugging Face tokenizers Crate
Perplexity AI가 기존 Hugging Face 토크나이저보다 p50 지연 시간을 5배 개선한 오픈소스 유니그램 토크나이저를 공개했다.
A Coding Guide to Implement a pgvector-Powered Semantic, Hybrid, Sparse, and Quantized Vector Search System
pgvector를 사용하여 의미론적, 하이브리드, 희소, 양자화 벡터 검색 시스템을 구현하는 방법에 대한 가이드를 다룬 글입니다.
Asking Is Not Enough: Protocol Sensitivity in LLM Confidence Calibration
LLM의 자신감 보정(confidence calibration) 결과가 질문 방식에 따라 민감하게 변할 수 있음을 분석한 논문.
PEAM: Parametric Embodied Agent Memory through Contrastive Internalization of Experience in Minecraft
마인크래프트 환경에서 경험의 대조적 내재화를 통해 파라메트릭 에이전트 메모리를 구현하는 기법인 PEAM을 제안한 논문.
Reasoning Matters: Mitigate Hallucination in Multimodal Large Reasoning Models via Reasoning-Conditioned Preference Optimization
멀티모달 거대 추론 모델의 환각 현상을 완화하기 위해 추론 기반 선호도 최적화(Reasoning-Conditioned Preference Optimization) 기법을 제안한 논문.
A Query Engine for the Agents
에이전트를 위한 쿼리 엔진을 제안하는 논문.
EgoBench: An Interactive Egocentric Multimodal Benchmark for Tool-Using Agents
도구 사용 에이전트를 평가하기 위한 상호작용형 1인칭 시점 멀티모달 벤치마크인 EgoBench를 제안한 논문.
SKILLC: Learning Autonomous Skill Internalization in LLM Agents via Contrastive Credit Assignment
대조적 신용 할당을 통해 LLM 에이전트의 자율적 기술 내재화를 학습하는 방식인 SKILLC를 제안한 논문.
Operational AI Deployment Assurance: Governance-State Orchestration Under Threshold-Sensitive Deployment Conditions -- A Governance Framework for High-Stakes AI Systems
고위험 AI 시스템의 배포를 관리하기 위한 거버넌스 및 상태 조정 프레임워크를 제안한 논문.
TCP-MCP: Landscape-Guided Co-Evolution of Prompts and Communication Topologies for Multi-Agent Systems
다중 에이전트 시스템을 위한 프롬프트와 통신 토폴로지의 공동 진화 기법인 TCP-MCP를 제안한 논문.
MolLingo: Molecule-Native Representations for LLM-Powered Scientific Agents
분자 구조 기반의 언어 모델 표현 방식인 MolLingo를 제안한 논문.
Towards Faithful Agentic XAI: A Verification Method and an Open-World Benchmark for Better Model Faithfulness
에이전트 모델의 설명 가능성(XAI)을 높이기 위한 검증 방법과 오픈 월드 벤치마크를 제시한 논문.
Soro: A Lightweight Foundation Model and Chatbot for Tajik
타지크어를 위한 경량 파운데이션 모델 및 챗봇 Soro에 관한 논문이다.
Why LLMs Fail at Causal Discovery and How Interventional Agents Escape
LLM이 인과 추론에 실패하는 이유와 중재적 에이전트의 활용 가능성에 관한 연구 논문이다.
RULER: Representation-Level Verification of Machine Unlearning
기계 삭제(Machine Unlearning)의 표현 수준 검증을 다루는 논문입니다.
LaneRoPE: Positional Encoding for Collaborative Parallel Reasoning and Generation
LaneRoPE라는 새로운 위치 인코딩 기법을 제안한 논문.
Discovery Agents for Real-Time Analytics: Toward Proactive Insight Systems
실시간 분석을 위한 발견 에이전트 시스템에 관한 연구이다.
Cyberbullying Governance on Social Media: A Unified Framework from Content Identification to Intervention
소셜 미디어에서의 사이버불링 거버넌스 및 개입을 위한 통합 프레임워크에 관한 논문이다.
Laguna M.1/XS.2 Technical Report
신규 모델인 Laguna M.1 및 XS.2에 대한 기술 보고서가 발표되었습니다.
Reasoning and Planning with Dynamically Changing Norms
동적으로 변화하는 규범 속에서의 추론 및 계획 수립에 관한 연구 논문입니다.
Intelligence as Managed Autonomy: Failure, Escalation, and Governance for Agentic AI Systems
에이전트 AI 시스템의 실패, 에스컬레이션 및 거버넌스에 관한 분석을 다룬 연구 논문입니다.
Cross-Entropy Games and Frost Training
교차 엔트로피 게임 및 Frost 학습에 관한 논문입니다.
Hierarchical Prompt-Domain Control and Learning for Resource-Constrained Agentic Language Models
자원 제약이 있는 에이전트 기반 언어 모델을 위한 계층적 프롬프트 도메인 제어 및 학습에 관한 논문입니다.
DeepSciVerify: Verifying Scientific Claim--Citation Alignment via LLM-Driven Evidence Escalation
LLM 기반의 과학적 주장과 인용 정렬을 검증하는 DeepSciVerify에 관한 논문이다.
A Policy-Driven Runtime Layer for Agentic LLM Serving
에이전트형 LLM 서비스를 위한 정책 기반 런타임 레이어를 제안한 논문.
SkillGrad: Optimizing Agent Skills Like Gradient Descent
에이전트 스킬을 경사하강법과 유사하게 최적화하는 기법인 SkillGrad를 제안한 논문.
Got a Secret? LLM Agents Can't Keep It: Evaluating Privacy in Multi-Agent Systems
멀티 에이전트 시스템에서의 개인정보 보호 문제를 평가한 연구 논문.
Auditable Decision Models with Learned Abstention and Real-Time Steering
학습된 기권 및 실시간 제어 기능을 갖춘 감사 가능한 의사결정 모델에 관한 논문.
Diagnosing Live Within-Policy Instruction Conflicts in LLM Agents with Witnessed Resolution Profiles
LLM 에이전트 내에서 발생하는 지시사항 간의 충돌을 탐지하고 해결하기 위한 Witnessed Resolution Profiles 기법을 제안한 논문.
A Fixed-Budget, Cluster-Aware Standard for LLM-as-a-Judge Evaluation: A Multi-Hop RAG Stress Test
다중 홉 RAG 스트레스 테스트를 위한 LLM-as-a-Judge 평가 표준을 제안하는 논문.
GraD-IBD: Graph Representation Learning from Diagnosis Trajectories for Early Detection of Inflammatory Bowel Disease
진단 이력을 활용한 그래프 표현 학습을 통해 염증성 장질환을 조기에 탐지하는 방법론 GraD-IBD를 제안한 논문.
Constrained Auto-Bidding via Generative Response Modeling
생성적 응답 모델링을 통한 제약 기반 자동 입찰 기법을 다룬 논문.
Revealing Algorithmic Deductive Circuits for Logical Reasoning
논리적 추론을 위한 알고리즘적 연역 회로를 규명한 연구 논문.
EAPO: Entropy-Driven Adaptive Positive-Negative Sample Weighting for Policy Optimization in Open-Ended QA
열린 질의응답(Open-Ended QA)의 정책 최적화를 위한 엔트로피 기반 적응형 샘플 가중치 부여 기법인 EAPO를 제안한 논문.
When Context Flips, Safety Breaks: Diagnosing Brittle Safety in Aligned Language Models
정렬된 언어 모델의 안전성이 맥락 변화에 따라 취약해지는 현상을 진단한 논문.
C-MIG: Multi-view Information Gain-based Retrieval-Augmented Generation for Clinical Diagnosis Reasoning
임상 진단 추론을 위해 다각도 정보 이득 기반의 검색 증강 생성(RAG)을 수행하는 C-MIG 모델을 제안한 논문.
FundaPod: A Multi-Persona Agent Pod Platform with Knowledge Graph Memory for AI-Assisted Fundamental Investment Research
AI 기반 기초 투자 분석을 위해 지식 그래프 메모리를 갖춘 멀티 페르소나 에이전트 플랫폼인 FundaPod을 제안한 논문이다.
AIBuildAI-2: A Knowledge-Enhanced Agent for Automatically Building AI Models
AI 모델 자동 구축을 위한 지식 강화형 에이전트인 AIBuildAI-2를 소개하는 논문.
PortBench: A Correlation-Aware, Full-Pipeline Benchmark for LLM-Driven Portfolio Management
LLM 기반 포트폴리오 관리를 평가하기 위한 상관관계 인식 풀 파이프라인 벤치마크인 PortBench를 제안한 논문.
A Unified Framework for the Evaluation of LLM Agentic Capabilities
거대언어모델(LLM)의 에이전트 능력을 평가하기 위한 통합 프레임워크를 제시한 논문이다.
SuiChat-CN: Benchmarking Contextual Suicide Risk Assessment in Chinese Group Chats
중국어 그룹 채팅 환경에서 자살 위험을 평가하기 위한 벤치마크 데이터셋인 SuiChat-CN을 제안한 논문.
Dr-CiK: A Testbed for Foresight-Driven Agents
미래 예측 기반 에이전트의 성능을 평가하기 위한 테스트베드인 Dr-CiK을 제안한 논문.
Harness-Bench: Measuring Harness Effects across Models in Realistic Agent Workflows
에이전트 워크플로우 내에서 모델들의 영향을 측정하는 Harness-Bench를 소개하는 논문이다.
Identifying and Understanding Human Values in Text: A Tailorable LLM-based Architecture
텍스트 내 인간의 가치를 식별하고 이해하기 위한 LLM 기반 아키텍처에 관한 연구입니다.
On the Origin of Synthetic Information by Means of Steganographic Inheritance
스테가노그래피 상속을 통한 합성 정보의 기원에 관한 학술 논문입니다.
DynaSchedBench: Calibrated Dynamic Scheduling Benchmarks and Observability Paradox in LLM-based Scheduling Agents
LLM 기반 스케줄링 에이전트를 위한 동적 스케줄링 벤치마크 DynaSchedBench에 관한 논문이다.
Show, Don't TELL: Explainable AI-Generated Text Detection
AI 생성 텍스트 탐지를 위한 설명 가능한 기법을 다룬 논문입니다.
Agyn: An Open-Source Platform for AI Agents with Scalable On-Demand Execution, Agent Definition as a Code, and Zero-Trust Access
AI 에이전트를 위한 오픈 소스 플랫폼 Agyn에 관한 논문이다.
You Are in Control of Your State: Why Human Outcomes Are Controllable Through Causal State Intervention
인과적 상태 개입을 통한 인간의 결과 제어 가능성에 관한 논문.
Voluntary Collusion with Secret Tools in Competing LLM Agents
경쟁하는 LLM 에이전트 환경에서 비밀 도구를 활용한 자발적 공모에 관한 논문이다.
Behavioural Analysis of Alignment Faking
정렬 속임수(alignment faking)의 행동 양상에 대한 분석을 다룬 연구 논문이다.
Prefix-Safe Bayesian Belief Tracking for LLM Reasoning Reliability:Separating Calibration from Ranking
LLM 추론 신뢰성을 위한 베이지안 신념 추적 기법을 다룬 논문이다.
Sakana AI Proposes DiffusionBlocks: a Block-wise Training Framework That Converts Residual Networks into Independently Trainable Denoising Modules
Sakana AI가 잔차 네트워크를 독립적인 디노이징 모듈로 변환하는 학습 프레임워크인 DiffusionBlocks를 제안했다.
MUFG aims to become AI-native with OpenAI
MUFG가 OpenAI와 협력하여 AI 네이티브 기업으로 전환하고자 한다.
OpenAI’s Frontier Governance Framework
OpenAI가 최첨단 AI 모델의 안전한 개발과 관리를 위한 프론티어 거버넌스 프레임워크를 공개했다.
Introducing Claude Opus 4.8
Anthropic에서 새로운 언어 모델인 Claude Opus 4.8을 발표했다.
Anthropic raises $65B in Series H funding at $965B post-money valuation
Anthropic이 시리즈 H 투자 라운드에서 650억 달러를 유치하며 9,650억 달러의 기업 가치를 평가받았다.
sqlite AGENTS.md
SQLite를 활용한 에이전트 개발 및 구현 사례를 다룬 블로그 글입니다.
ITBench-AA: Frontier Models Score Below 50% on the First Benchmark for Agentic Enterprise IT Tasks — by Artificial Analysis and IBM
기업용 IT 업무를 위한 에이전트 벤치마크인 ITBench-AA가 발표되었으나 해당되는 특정 모델이나 라이브러리는 포함되지 않았습니다.
NVIDIA Releases Polar, a Token-Faithful Rollout Framework for GRPO Training Across Codex, Claude Code, and Qwen Code
NVIDIA가 GRPO 학습을 위한 프레임워크인 Polar를 공개했다.
I think Anthropic and OpenAI have found product-market fit
Anthropic과 OpenAI가 제품 시장 적합성을 찾았다는 내용의 글입니다.