토픽 (5개)
agent-benchmarking 6건
에이전트의 성능을 측정하기 위한 벤치마크 설계가 활발히 논의되고 있습니다. 특히 단순 작업 수행을 넘어 임상 결정, 수학 연구, 데스크톱 워크플로우 등 특수 도메인에서의 신뢰성과 '기권 역량(abstention competence)'과 같은 안전한 판단력을 평가하는 데 초점이 맞춰져 있습니다.
computer-use-agents 4건
사용자의 컴퓨터 환경을 직접 조작하는 에이전트 구축이 실용화 단계에 진입했습니다. 로컬 환경에서의 빠른 구동, 멀티모달 모델을 활용한 복잡한 데스크톱 작업 수행, 그리고 관련 벤치마크 개발이 병행되고 있습니다.
- [huggingface] Holo3.1: Fast & Local Computer Use Agents
- [marktechpost] MiniMax Releases MiniMax M3 with MSA Architecture Supporting 1M-Token Context, Native Multimodality, and Agentic Coding
- [arxiv] MedCUA-Bench: A Screenshot-Only Benchmark for Clinical Computer-Use Agents
micropython-integration 3건
에이전트가 안전하게 코드를 생성하고 실행할 수 있도록 Wasmtime 환경의 마이크로파이썬을 활용하는 시도가 이어지고 있습니다. 이는 샌드박스 환경에서 파이썬 코드를 안전하게 실행하려는 기술적 수요를 반영합니다.
- [simon_willison] micropython-wasm 0.1a0
- [simon_willison] micropython-wasm 0.1a1
- [simon_willison] datasette-agent-micropython 0.1a0
agent-memory-management 3건
에이전트의 장기 기억과 정보 유지력을 향상시키기 위한 메모리 프레임워크 연구가 활발합니다. 결정론적 메모리 구조나 증분 경험 메모리 등 에이전트가 과거의 정보를 효과적으로 보존하고 활용하는 메커니즘을 구축하는 데 집중하고 있습니다.
codex-productivity 3건
OpenAI의 Codex 모델이 단순 코딩 보조를 넘어 지식 노동 전반의 생산성 도구로 확장되고 있습니다. 기업들은 이를 다양한 직무와 워크플로우에 통합하고 있으며, AWS를 통한 인프라 제공으로 접근성을 높이고 있습니다.
- [openai] Codex for every role, tool, and workflow
- [openai] Codex is becoming a productivity tool for everyone
- [openai] OpenAI frontier models and Codex are now available on AWS
당일 수집된 원문 아이템 (67건)
Introducing new capabilities to GPT-Rosalind
생명 과학 연구를 위해 생물학적 추론, 의약 화학, 유전체 분석 능력을 강화한 GPT-Rosalind가 발표되었다.
Direct Preference Optimization Beyond Chatbots
챗봇 이외의 분야에서 직접 선호도 최적화(DPO)를 활용하는 방법을 다룬 글입니다.
Uber Caps Usage of AI Tools Like Claude Code to Manage Costs
우버가 AI 코딩 도구의 토큰 사용 비용을 관리하기 위해 직원당 월 1,500달러의 지출 한도를 설정했다.
How Wasmer used Codex to build a Node.js runtime for the edge
Wasmer가 Codex와 GPT-5.5를 활용해 엣지용 Node.js 런타임을 개발하여 개발 속도를 10~20배 향상했다.
A blueprint for democratic governance of frontier AI
OpenAI가 최첨단 AI의 안전성과 국가 안보를 관리하기 위한 미국 연방 거버넌스 체계 구축 방안을 제시했다.
OpenAI public policy agenda
OpenAI가 AI 안전, 청소년 보호, 노동 시장 변화 대응 등을 포함한 AI 관련 공공 정책 의제를 발표했다.
Nous Research Releases Hermes Desktop: A Native Cross-Platform Front End for Hermes Agent v0.15.2 with Streaming Tool Output
Nous Research가 Hermes Agent를 위한 크로스 플랫폼 GUI인 Hermes Desktop을 출시했다.
NVIDIA Releases Cosmos 3: A Two-Tower Mixture-of-Transformers Foundation Model Unifying Physical Reasoning, World Generation, and Action Generation
NVIDIA가 물리적 추론과 영상 생성을 결합한 오픈 옴니모달 월드 모델인 Cosmos 3를 공개했다.
What Benchmarks Don't Measure: The Case for Evaluating Abstention Competence in Autonomous Agents
자율 에이전트가 안전을 위해 행동을 멈춰야 할 상황에서도 무조건 작업을 수행하려는 '순응 편향' 문제를 지적하고, 이를 평가하기 위한 기권 역량 측정의 필요성을 제안한 논문이다.
WISE-HAR: A Generalizable Ensemble Deep Learning Framework for WiFi-Based Human Activity Recognition
WiFi 신호를 활용해 사생활 침해 없이 사람의 활동을 인식하는 일반화된 앙상블 딥러닝 프레임워크인 WISE-HAR를 제안했다.
AUDITFLOW: Executable Symbolic Environments for Structured Financial Reporting Verification
구조화된 재무 보고서 검증을 위해 상징적 환경을 활용하고 다중 에이전트 시스템을 결합한 AuditFlow 프레임워크를 제안했다.
TriEval: A Resource-Efficient Pipeline for LLM Bias, Toxicity, and Truthfulness Assessment
LLM의 편향성, 독성, 진실성을 효율적으로 동시에 평가할 수 있는 파이프라인 TriEval을 제안했다.
RelGT-AC: A Relational Graph Transformer for Autocomplete Tasks in Relational Databases
관계형 데이터베이스의 자동 완성 작업을 위해 그래프 신경망 기반의 RelGT 아키텍처를 개선한 RelGT-AC 모델을 제안했다.
SkillDAG: Self-Evolving Typed Skill Graphs for LLM Skill Selection at Scale
대규모 언어 모델의 효율적인 기술 선택을 위해 기술 간 관계를 유형화된 그래프로 모델링하고 추론 중에 이를 동적으로 업데이트하는 SkillDAG 프레임워크를 제안했다.
CORE: Conflict-Oriented Reasoning for General Multimodal Manipulation Detection
멀티모달 대규모 언어 모델이 데이터 간의 의미적·물리적 불일치를 추론해 허위 정보를 탐지하는 CORE 프레임워크를 제안했다.
DELTAMEM: Incremental Experience Memory for LLM Agents via Residual Trees
LLM 에이전트의 기억 중복과 충돌 문제를 해결하기 위해 경험을 잔차 트리 형태로 저장하고 관리하는 DeltaMem 프레임워크를 제안했다.
From Long News to Accurate Forecast: Importance-Aware Fusion and PRM-Guided Reflection for Time Series Forecasting
뉴스 기사의 중요도를 평가하여 압축하고 공정 수준의 검색 지도를 활용해 시계열 예측 정확도를 높이는 새로운 프레임워크를 제안했다.
Think-Before-Speak: From Internal Evaluation to Public Expression in Multi-Agent Social Simulation
다중 에이전트 시뮬레이션에서 에이전트의 내부 추론 과정과 외부 발화를 분리하여 평가할 수 있는 프레임워크 TBS(Think-Before-Speak)를 제안했다.
GTBench: A Curriculum-Grounded Benchmark for Evaluating LLMs as Mathematical Research Assistants in Graph Theory
그래프 이론 분야에서 LLM의 수학적 추론 능력을 평가하기 위한 커리큘럼 기반 벤치마크인 GTBench가 공개되었다.
ClinicalMC: A Benchmark for Multi-Course Clinical Decision-Making with Large Language Models
환자의 상태 변화를 반영하는 복합적인 임상 의사결정 능력을 평가하기 위한 새로운 벤치마크 데이터셋 ClinicalMC가 발표되었다.
Perceive Before Reasoning: A Pre-Reasoning Perception Framework for Efficient and Reliable Proactive Mobile Agents
모바일 에이전트의 효율적인 개입 결정을 위해 판단과 수행 단계를 분리한 Pre-Reasoning Perception Framework(PRPF)를 제안했다.
Solipsistic Superintelligence is Unlikely to be Cooperative
현재의 독단적인 AI 설계 방식으로는 초지능이 협력적인 상태를 유지하기 어려우며, 이를 해결하기 위해 다수 행위자가 상호작용하는 협력적 AI 모델이 필요하다는 연구 결과이다.
Distilling Answer-Set Programming Rules from LLMs for Neurosymbolic Visual Question Answering
LLM을 활용해 시각적 질의응답(VQA)을 위한 논리 기반 추론 규칙을 자동으로 생성하고 확장하는 새로운 방식을 제안했다.
LEAP: Supercharging LLMs for Formal Mathematics with Agentic Frameworks
LLM이 형식 언어인 Lean에서 복잡한 수학 증명을 수행할 수 있도록 돕는 에이전트 프레임워크 LEAP이 제안되었다.
The Reliability Gap in Benchmark Auditing: Distribution Shift and Scale as Failure Modes of Contamination Detection
본 논문은 LLM 벤치마크 오염 검출 시 발생하는 데이터 분포 변화와 데이터 규모의 차이가 기존 검출 기법의 신뢰도를 저하시키는 원인이 됨을 지적한다.
The Violation Situation Pattern: A Knowledge-Graph Pattern for Compliance Violations
규정 위반 사례를 그래프 데이터로 영구 기록하고 감사 이력을 관리할 수 있는 Violation Situation Pattern(VSP)을 제안했다.
CP-Agent: Context-Aware Multimodal Reasoning for Cellular Morphological Profiling under Chemical Perturbations
세포 실험 맥락을 이해하고 해석 가능한 추론을 제공하는 멀티모달 LLM 기반의 CP-Agent가 제안되었다.
DMF: A Deterministic Memory Framework for Conversational AI Agents
대화형 AI 에이전트를 위해 LLM 기반의 비결정적 요약 방식 대신 고전적 NLP 분석과 수학적 점수를 활용한 결정론적 메모리 프레임워크 DMF를 제안했다.
StepFinder: A Temporal Semantic Framework for Failure Attribution in Multi-Agent Systems
다중 에이전트 시스템에서 발생하는 오류의 근본 원인을 효율적으로 찾기 위한 시간적 의미론 기반의 프레임워크인 StepFinder를 제안했다.
A formal definition and meta-model for a machine theory of mind
인지심리학과 신경과학 원리를 바탕으로 기계 마음 이론(Machine Theory of Mind)에 대한 정밀한 정의와 이를 위한 통합 메타 모델을 제안한 논문이다.
ThoughtFold: Folding Reasoning Chains via Introspective Preference Learning
대규모 추론 모델의 불필요한 사고 과정을 줄이기 위해 미세 조정된 선호도 학습을 사용하는 ThoughtFold 프레임워크를 제안했다.
Visual Graph Scaffolds for Structural Reasoning in Large Language Models
대규모 언어 모델의 복합적 추론 능력을 높이기 위해 그래프 구조의 마인드맵을 추론 보조 도구로 활용하는 기법을 제안했다.
BehaviorBench: Modeling Real-World User Decisions from Behavioral Traces
실제 행동 데이터를 기반으로 개인화된 의사결정 모델링을 평가할 수 있는 벤치마크인 BehaviorBench를 제안했다.
Traj-Evolve: A Self-Evolving Multi-Agent System for Patient Trajectory Modeling in Lung Cancer Early Detection
폐암 조기 발견을 위해 유사 환자 사례를 학습하고 경험을 축적하는 다중 에이전트 시스템 Traj-Evolve가 제안되었다.
Thinking Past the Answer: Evaluating Harmful Overthinking in Large Reasoning Models
추론 모델이 정답을 도출한 이후의 추가적인 추론 과정이 성능을 개선하는지 혹은 저하시키는지를 평가하기 위한 새로운 분석 프로토콜을 제안했다.
Don't Gamble, GAMBLe: An Analytical Framework for AI-Driven Research Systems
AI 기반 연구 시스템(ADRS)의 동작을 분석하기 위해 생성자, 평가자, 탐색 메커니즘, 예산이라는 4가지 매개변수로 구성된 분석 프레임워크 GAMBLe을 제안했다.
Inducing Reasoning Primitives from Agent Traces
AI 에이전트의 ReAct 추론 과정에서 반복되는 패턴을 추출해 재사용 가능한 의사 도구(pseudo-tools)로 변환하는 '추론 기본 단위 유도(Reasoning Primitive Induction)' 기법을 제안했다.
ToolGate: Token-Efficient Pre-Call Control for Tool-Augmented Vision-Language Agents
시각-언어 모델의 불필요한 도구 호출을 줄여 비용을 절감하는 경량 제어 장치인 ToolGate를 제안했다.
The Shadow Price of Reasoning: Economic Perspective on Optimal Budget Allocation for LLMs
LLM 추론 시 제한된 계산 자원을 효율적으로 배분하기 위해 경제학 원리를 기반으로 자원을 최적화하는 CLEAR 기법을 제안했다.
Decomposing how prompting steers behavior
프롬프팅이 LLM과 VLM의 내부 표현을 어떻게 변화시키는지 분석하기 위해, 프롬프트를 자극의 기하학적 변환으로 해석하는 중첩 기하학적 분해 프레임워크를 제안했다.
DeskCraft: Benchmarking Desktop Agents on Professional Workflows and Human-in-the-Loop Collaboration
복잡한 데스크톱 작업과 인간-AI 협업을 평가하기 위한 새로운 벤치마크인 DeskCraft가 발표되었습니다.
EvoTrainer: Co-Evolving LLM Policies and Training Harnesses for Autonomous Agentic Reinforcement Learning
EvoTrainer는 자율 에이전트 강화 학습에서 LLM 정책과 학습 환경을 상호 진화시켜 성능을 최적화하는 새로운 학습 프레임워크입니다.
Uncertainty-Aware Clarification in LLM Agents with Information Gain
LLM 에이전트가 불분명한 사용자 지시를 해결할 수 있도록 정보 이득(Information Gain) 보상을 사용하여 질문의 유용성을 평가하고 명확성을 높이는 프레임워크를 제안했다.
MedCUA-Bench: A Screenshot-Only Benchmark for Clinical Computer-Use Agents
임상 소프트웨어 환경에서 컴퓨터 사용 에이전트의 성능을 평가할 수 있는 새로운 벤치마크 데이터셋인 MedCUA-Bench가 발표되었다.
Effect of Demographic Bias on Skin Lesion Classification
피부 병변 분류 모델의 학습 데이터에서 인구통계학적 편향이 성능에 미치는 영향을 분석하고, 성별 기반 학습 데이터가 모델 성능 최적화에 기여함을 확인했다.
Do Real-World Datasets Contain Natural Experiments? An Empirical Study Using Causal Feature Selection
실제 데이터셋에 존재하는 자연적 실험(natural experiment)을 탐지하고 이를 인과적 특징 선택을 통해 활용하는 방법을 제안한 연구.
A Negative Result on Cross-Model Activation Transfer in a Pythia Multi-Hop Setting
한 언어 모델의 중간 추론 상태를 다른 모델의 활성화 값으로 직접 전달하여 추론 성능을 향상할 수 있는지 실험했으나, 실질적인 기여는 이루어지지 않았다는 부정적인 결과를 담은 연구입니다.
InfoMem: Training Long-Context Memory Agents with Answer-Conditioned Information Gain
방대한 문맥에서 정답에 필요한 정보를 효과적으로 추출하고 기억하도록 돕는 새로운 보상 메커니즘 InfoMem을 제안했다.
What Makes Interaction Trajectories Effective for Training Terminal Agents?
강력한 성능의 모델보다 DeepSeek-V3.2와 같이 환경 기반 감독(EGS)을 제공하는 모델의 학습 궤적이 에이전트의 일반화 성능을 향상시킨다는 사실을 확인했다.
Overlaying Governance: A Compositional Authorization Framework for Delegation and Scope in Agentic AI
자율형 AI 에이전트의 권한 위임과 동적 범위 설정을 지원하기 위한 새로운 구성적 권한 부여 프레임워크를 제안한 논문.
Handoff Debt: The Rediscovery Cost When Coding Agents Take Over Interrupted Tasks
코딩 에이전트 간의 업무 인계 시 발생하는 정보 불투명성과 그에 따른 재탐색 비용인 '핸드오프 부채(handoff debt)'의 영향을 분석한 연구이다.
AURA: Action-Gated Memory for Robot Policies at Constant VRAM
로봇의 메모리 효율을 높이기 위해 필요한 정보만 선택적으로 기록하여 일정한 VRAM을 사용하는 AURA-Mem 모델을 제안했다.
Evaluating Transformer and LSTM Frameworks for Prediction in Ungauged Basins
관측 자료가 부족한 유역에서 하천 유량 예측 성능을 비교한 결과, Transformer보다 LSTM 모델이 더 우수한 성능을 보였다.
ChatHealthAI: Aligning Electronic Health Record Representations with Large Language Models for Grounded Clinical Reasoning
구조화된 전자건강기록(EHR) 데이터와 대규모 언어 모델을 결합하여 임상적 추론 성능을 향상시킨 다중 모달 프레임워크 ChatHealthAI가 제안되었다.
An Exploration of Collision-based Enemy Morphology Generation
플레이어와의 충돌 정보를 기반으로 비디오 게임 속 적의 형태를 생성하는 세 가지 새로운 방법을 제안하고 그 성능을 분석했다.
Toward a Modular Architecture for Embedded AI Agent Systems at the Edge
임베디드 마이크로컨트롤러 환경에서 실시간 제어와 에이전트 지능을 결합할 수 있는 모듈형 임베디드 에이전트 시스템 아키텍처를 제안했다.
When Helping Hurts and How to Fix It: Multi-Agent Debate for Data Cleaning
다중 에이전트 토론 방식이 데이터 클렌징의 오류 탐지율은 높이지만, 생성된 답변의 품질은 비판적 피드백으로 인한 혼란으로 인해 저하시킬 수 있다는 연구 결과가 나왔다.
Large AI Models in Dental Healthcare: From General-Purpose Systems to Domain-Specific Foundation Models
치과 분야에서 활용되는 대규모 AI 모델들을 세 가지 유형으로 분류하고 그 임상적 잠재력과 한계를 체계적으로 분석한 연구 보고서.
How to Fine-Tune LFM2 Using QLoRA and DPO: A Complete Step-by-Step Coding Tutorial on Google Colab
QLoRA와 DPO를 사용하여 LFM2 모델을 파인튜닝하는 과정을 담은 구글 코랩 실습 튜토리얼이 공개되었다.
What we learned mapping a year’s worth of AI-enabled cyber threats
Anthropic이 1년간 발생한 AI 기반 사이버 위협 사례들을 분석하여 정리한 내용을 발표했다.
Adding MCP Tools to Reachy Mini
Reachy Mini 로봇에 MCP 도구를 연동하는 방법을 설명하는 글.
Introducing the Services Track and Partner Hub of the Claude Partner Network
Anthropic이 Claude 파트너 네트워크의 서비스 트랙과 파트너 허브를 새롭게 도입했다.
Microsoft's new MAI models
마이크로소프트가 추론용 35B 모델 MAI-Thinking-1과 코딩용 5B 모델 MAI-Code-1-Flash를 발표했다.
datasette-agent-micropython 0.1a0
Datasette Agent가 안전하게 파이썬 코드를 생성하고 실행할 수 있도록 지원하는 datasette-agent-micropython 0.1a0 버전이 공개되었다.
micropython-wasm 0.1a1
micropython-wasm 0.1a1 버전이 출시되어 기존 사용상 제약 사항들이 수정되었다.
California Brown Pelican
샌프란시스코 Fort Mason에서 열린 Microsoft Build 컨퍼런스 행사장 인근에서 캘리포니아 갈색 펠리컨이 발견되었다.
TinyFish Launches BigSet: An Open-Source Multi-Agent System That Builds Structured Live Datasets from Plain-English Descriptions
TinyFish가 일반적인 영어 설명을 바탕으로 웹 검색을 통해 구조화된 데이터셋을 생성하는 오픈소스 멀티 에이전트 시스템인 BigSet을 공개했다.