토픽 (5개)
agentic-benchmarking-and-evaluation 9건
에이전트의 실제 성능과 신뢰성을 측정하기 위한 벤치마크 개발이 활발합니다. 단순히 결과값만 평가하는 것이 아니라, 에이전트의 실행 과정(trace)과 추론 단계에서의 이상치를 정밀하게 진단하려는 시도가 주를 이룹니다.
- [arxiv] MiraBench: Evaluating Action-Conditioned Reliability in Robotic World Models
- [arxiv] OpenClawBench: Benchmarking Process-side Anomalies in Real-world Agent Execution Trajectories
- [arxiv] BenchTrace: A Benchmark for Testing Reflection Ability and Controlled Evolution in LLM Agents
process-reward-optimization 4건
최종 답변의 정확성뿐만 아니라 사고 과정(Chain-of-Thought) 자체에 보상을 부여하여 모델의 추론 능력을 개선하려는 연구가 주목받고 있습니다. 특히 복잡한 에이전트 작업이나 컴퓨터 제어 환경에서 단계별 논리적 정합성을 확보하려는 노력이 돋보입니다.
- [arxiv] Rubric-Guided Process Reward for Stepwise Model Routing
- [arxiv] PRO-CUA: Process-Reward Optimization for Computer Use Agents
- [arxiv] Diagnosing Harmful Continuation in Answer-Correct Long-CoT Training Traces
agentic-guardrails-and-safety 4건
에이전트 시스템의 자율성이 커짐에 따라, 기술적 부채 관리 및 증명 가능한 안전 장치(guardrail) 구축이 핵심 과제로 부상했습니다. 적대적 환경에서의 추론 오류를 방지하고, 에이전트의 실행 경로를 안전하게 통제하기 위한 메타데이터 활용 방안 등이 논의되고 있습니다.
- [arxiv] Provably Secure Agent Guardrail
- [arxiv] Governing Technical Debt in Agentic AI Systems
- [arxiv] The Importance of Out-of-Band Metadata for Safe Autonomous Agents: The Redpanda Agentic Data Plane
moe-optimization-and-compression 3건
MoE(Mixture of Experts) 모델의 효율성을 높이기 위해 전문가 풀을 압축하거나 온디바이스 환경에 최적화하려는 시도가 활발합니다. 특히 파라미터 효율성을 극대화하면서도 성능 저하를 최소화하는 경량화 기법들이 주요 연구 대상입니다.
- [arxiv] ConMoE: Expert-Pool Consolidation via Prototype Reassignment for MoE Compression
- [arxiv] Liquid AI Releases LFM2.5-8B-A1B: An On-Device MoE Model With 8.3B Total and 1.5B Active Parameters
- [arxiv] StepFun Releases Step 3.7 Flash: A 198B MoE Vision-Language Model for Coding Agents and Search Workflows
codex-agentic-workflows 3건
기업 환경에서 Codex와 같은 모델을 활용해 고객 요청을 코드로 변환하거나, 에이전트 중심의 조직 체계를 구축하는 실용적인 사례가 공유되고 있습니다. 자동화된 워크플로우 내에서 다수의 서브 에이전트를 관리하는 운영 효율성에 초점이 맞춰져 있습니다.
- [openai] How Braintrust turns customer requests into code with Codex
- [openai] How Endava builds an agentic organization with Codex
- [marktechpost] Anthropic Ships Claude Opus 4.8 Alongside Dynamic Workflows and Cheaper Fast Mode, With Workflows Capped at 1,000 Subagents
당일 수집된 원문 아이템 (6건)
Show HN: Jynx, a matchmaking app to find gaming teammates
게임 팀원을 찾을 수 있도록 돕는 매치메이킹 앱 Jynx.
Genesis AI Releases Nyx, Quadrants, and Genesis World 1.0 Physics Platform for Scalable Robotics Foundation Model Evaluation
Genesis AI가 로봇 재단 모델의 평가를 위한 물리 플랫폼인 Nyx, Quadrants, Genesis World 1.0을 출시했다.
Hermes Agent Ships Tool Search for MCP: Anthropic Evals Show 49% to 74% Accuracy Gain on Opus 4
Hermes Agent가 MCP를 위한 도구 검색 기능을 도입하여 Opus 4 모델의 정확도를 49%에서 74%까지 향상시켰다.
How to Use AgentTrove: Streaming 1.7M Agentic Traces and Building a Clean ShareGPT SFT Dataset in Python
170만 개의 에이전트 트레이스를 활용해 ShareGPT SFT 데이터셋을 구축하는 AgentTrove 사용법을 소개한다.
NVIDIA Introduces X-Token: Projection-Guided Cross-Tokenizer KD That Outperforms GOLD by +3.82 Average Points on Llama-3.2-1B
NVIDIA가 Llama-3.2-1B 모델에서 기존 GOLD 방식보다 성능이 우수한 새로운 지식 증류 기법인 X-Token을 발표했다.
StepFun Releases Step 3.7 Flash: A 198B MoE Vision-Language Model for Coding Agents and Search Workflows
StepFun이 코딩 에이전트와 검색 작업을 위해 198B 규모의 MoE 기반 멀티모달 모델인 Step 3.7 Flash를 출시했다.