토픽 (5개)
agent-safety-and-alignment 9건
에이전트의 자율성이 높아짐에 따라 고위험 결정 상황에서의 윤리적 판단력과 안전성을 검증하려는 시도가 활발합니다. 특히 에이전트가 안전 가이드를 우회하거나 규제 병목을 돌파하는 등 예상치 못한 행동을 보일 수 있다는 점을 경계하며, 이를 방지하기 위한 안전 추론 프레임워크와 평가 도구 개발에 집중하고 있습니다.
agentic-evaluation-frameworks 7건
에이전트의 성능을 단순히 벤치마크 점수로 평가하는 대신, 실제 상호작용 상황이나 절차적 준수 여부를 측정하는 동적 평가 기법들이 주목받고 있습니다. 연구자들은 모델이 평가자의 내재된 편향에 순응하는 '아첨(sycophancy)' 문제를 지적하며, 에이전트의 의사결정 과정을 추적하고 검증 가능한 방식으로 평가하는 체계적 방법론을 구축하고 있습니다.
tool-use-optimization 5건
에이전트가 도구를 능숙하게 활용하도록 돕기 위해 기억 관리와 실행 제어 구조를 고도화하는 연구가 진행 중입니다. 특히 과거의 경험을 구조화하여 메모리로 활용하거나, 도구 사용의 전제 조건을 사전에 학습시켜 실패를 줄이는 방식 등 에이전트의 실무 수행 효율을 높이는 데 초점을 맞추고 있습니다.
- [arxiv] Decision-Aware Memory Cards: Counterfactual-Inspired Context Selection and Compression for Tool-Using LLM Agents
- [arxiv] Contract2Tool: Learning Preconditions and Effects for Reliable Tool-Augmented LLM Agents
- [arxiv] MemToolAgent overview with a simple restaurant booking scenario where the agent retrieves similar memories, receives feedback on an invalid time format, and generates a reflection to update its memory
domain-specific-specialization 5건
범용 모델을 넘어 의료, 금융, 과학 등 특정 전문 도메인에 최적화된 에이전트 개발이 활발합니다. 병리학 문헌 기반의 진단 보조나 금융 거래 정보 추출 등 실제 산업 현장의 복잡한 데이터를 처리하기 위해 소형 모델(sLM)을 활용하거나 도메인 특화 벤치마크를 구축하여 실효성을 입증하려 합니다.
- [arxiv] A Multi-modal Agentic Co-pilot for Evidence Grounded Computational Pathology
- [arxiv] How Small Can You Go? LoRA Fine-Tuning 270M-8B Models for Merchant Information Extraction in Financial Transactions
- [arxiv] Automatic Extraction of Structured Information from Brain MRI Reports Using an Open-Weight Large Language Model
inference-efficiency-and-scaling 3건
거대 모델의 추론 속도를 극대화하거나 모듈형 시스템을 통해 참여를 확장하는 기술적 시도가 이어지고 있습니다. 일반 GPU 환경에서도 초당 1000 토큰 이상의 속도를 내는 최적화 기법이나, 여러 소형 모델을 조합해 성능을 높이는 '참여적 확장(Scaling Participation)' 패러다임이 모놀리식 모델의 대안으로 제시되고 있습니다.
당일 수집된 원문 아이템 (60건)
How engineers at Nextdoor use Codex to build without limits
Nextdoor 엔지니어들이 GPT-5.5 기반 Codex를 활용해 복잡한 버그를 해결하고 플랫폼 간 개발 효율을 높이는 사례를 소개한다.
How an Agent Built a 3D Paris Gallery by Chaining Two Hugging Face Spaces
두 개의 허깅페이스 스페이스를 연동하여 에이전트가 3D 파리 갤러리를 구축하는 방법을 소개했다.
NeuroBait: I fine-tuned a model to spark dopamine for ADHD brain
ADHD 환자의 도파민 분비를 유도하기 위해 미세 조정된 언어 모델 NeuroBait를 소개하는 글.
NVIDIA cuTile Python Tutorial: Building Tiled GPU Kernels for Vector Addition, Matrix Addition, and Matrix Multiplication in Colab
NVIDIA cuTile Python을 사용하여 GPU 타일링 커널을 구현하고 검증하는 실습 튜토리얼이 공개되었다.
A New Study from Harvard and Perplexity Finds AI Agents Perform 26 Minutes of Autonomous Work per Session vs 33 Seconds for Search
하버드 대학과 Perplexity의 연구 결과, AI 에이전트는 검색 어시스턴트보다 훨씬 긴 시간 동안 자율적으로 작업을 수행하며 효율성과 작업 범위 면에서 우수한 성과를 보였다.
Joint Structural Pruning and Mixed-Precision Quantization for LLM Compression
거대언어모델의 효율적 배포를 위해 구조적 가지치기와 혼합 정밀도 양자화를 통합적으로 최적화하는 새로운 종단 간 압축 프레임워크를 제안했다.
Safety is Contextual, LLM-Judges Are Not: Navigating the Rigid Priors of Evaluators
LLM 평가자로 쓰이는 모델들이 새로운 맥락이나 정의를 학습할 수 있지만, 기존의 내재된 안전성 편향에서 쉽게 벗어나지 못한다는 점을 분석한 연구.
Contract2Tool: Learning Preconditions and Effects for Reliable Tool-Augmented LLM Agents
Contract2Tool은 도구의 메타데이터와 실행 기록을 분석해 도구 사용의 전제 조건과 결과를 자동으로 추론하는 프레임워크입니다.
EditSR: Enhancing Neural Symbolic Regression via Edit-based Rectification
신경 기호 회귀 모델의 오류를 효율적으로 수정하기 위해 편집 기반 교정기를 결합한 2계층 프레임워크 EditSR을 제안했다.
Unification of Closed-Open Industrial Detection Scenarios: New Large-Scale Benchmarks,Challenges and Baselines
산업 현장의 결함 탐지를 개선하기 위해 100만 개 이상의 데이터를 포함한 대규모 멀티모달 벤치마크 MMIOC-1M을 공개했다.
PAFO: Pareto Fairness Optimization for Personalized Reward Modeling
개인화된 보상 모델링에서 발생하는 편향 문제를 해결하기 위해 파레토 공정성 최적화 프레임워크인 PAFO를 제안했다.
OSMGraphCLIP: Learning Global Location Representations from OpenStreetMap Graphs
OSMGraphCLIP은 오픈스트리트맵 데이터를 활용하여 지리적 환경의 구조적·의미적 관계를 학습하는 새로운 지리공간 표현 모델이다.
SKILL.nb: Selective Formalization and Gated Execution for Durable Agent Workflows
AI 에이전트의 재사용 가능한 워크플로우를 검증하고 관리하는 프레임워크인 SKILL.nb가 제안되었다.
How Small Can You Go? LoRA Fine-Tuning 270M-8B Models for Merchant Information Extraction in Financial Transactions
금융 거래 내역에서 정보를 추출하기 위해 270M에서 8B 규모의 다양한 모델들을 평가하고 효율적인 대안을 연구한 논문이다.
A Multi-modal Agentic Co-pilot for Evidence Grounded Computational Pathology
병리학 분야의 증거 기반 의사결정을 돕기 위해 방대한 병리학 문헌을 바탕으로 구축된 멀티모달 AI 에이전트 PathPocket이 발표되었다.
PACE: Anytime-Valid Acceptance Tests for Self-Evolving Agents
스스로 진화하는 에이전트가 잘못된 변경 사항을 수용하는 문제를 해결하기 위해, 순차적 가설 검정을 기반으로 한 평가 기법인 PACE를 제안했다.
Cross-LLM Consistency in Inference: Evidence from Shared Interactions
서로 다른 대규모 언어 모델들이 동일한 토큰을 예측할 때 유사한 내부 추론 패턴을 공유하며, 이는 모델의 성능이 높을수록 더욱 두드러진다는 연구 결과가 발표되었다.
Decision-Aware Memory Cards: Counterfactual-Inspired Context Selection and Compression for Tool-Using LLM Agents
도구 사용 LLM 에이전트의 의사결정 효율을 높이기 위해 핵심 증거를 선별하고 메모리 카드로 압축하는 CICL 프레임워크를 제안했다.
When No Answer Is Correct: Diagnosing Absent Answer Detection for MLLMs in Video Understanding
멀티모달 대규모 언어 모델이 영상 이해 과정에서 정답이 없는 상황을 제대로 판별하지 못하는 문제를 분석한 연구.
Traxia: A Framework for Verifiable, Agent-Native Scientific Publishing
AI 연구 에이전트가 검증 가능한 논문을 작성하고 동료 평가 및 협업을 수행할 수 있도록 지원하는 프레임워크 Traxia가 제안되었다.
Ablation-Reversible Heads Don't Transfer: A Stress Test for Mechanistic Role Claims in Transformers
트랜스포머 모델의 어텐션 헤드에 부여되는 역할론적 해석이 타 문맥으로 전이되지 않음을 밝히고, 이를 검증하기 위한 새로운 분석 기법인 KID를 제안했다.
Neuro-Symbolic Injection of LTLf Constraints in Autoregressive Reinforcement Learning Policies
트랜스포머 기반 강화학습 정책에 선형 시간 논리(LTLf) 제약을 주입하기 위해 유한 오토마타와 논리 기반 손실 함수를 결합한 신경 기호(neuro-symbolic) 프레임워크를 제안했다.
PathoSage: Towards Multi-Source Evidence Adjudication in Pathology via Experience-Aware Agentic Workflow
병리 분석을 위해 지식 검색, 증거 수집, 증거 판별 단계를 분리하여 추론 정확도를 높이는 3단계 프레임워크 PathoSage를 제안했다.
OmniMem: Perturbation-aware Memory Compression for Streaming Audio-Visual LLMs
오디오-비주얼 LLM의 장시간 영상 추론 효율을 높이기 위해, 모달리티별로 메모리를 차등 할당하고 중요 상태를 선별적으로 보존하는 OmniMem 프레임워크가 제안되었다.
A case study of evaluating AI agents on a neuroscience data-to-discovery pipeline
신경과학 연구 파이프라인에서 범용 코딩 에이전트의 성능을 평가한 사례 연구 결과, 에이전트가 개별 파이프라인 단계를 자동화하는 데 효과적임을 확인했다.
Automatic Extraction of Structured Information from Brain MRI Reports Using an Open-Weight Large Language Model
LLaMA 3.1을 활용해 네덜란드어 뇌 MRI 판독문에서 구조화된 정보를 자동으로 추출하는 성능을 평가했다.
Some hypotheses on how chatbots work in problem-solving-driven conversations. Large Language Models as confirmation of the Innovation Illusion
거대언어모델(LLM) 기반 챗봇이 문제 해결 과정에서 인간과 어떻게 소통하는지 인지 언어학 및 심리학적 관점에서 분석한 논문.
Land cover and flood type govern the detection limits of satellite-based flood mapping across diverse global flood events
지표 피복과 홍수 유형이 위성 기반 홍수 탐지 모델인 Prithvi-EO-2.0의 정확도에 영향을 미치는 주요 요인임이 확인되었다.
Beyond Goodhart's Law: A Dynamic Benchmark for Evaluating Compliance in Multi-Agent Systems
다중 에이전트 시스템의 절차적 준수 여부를 평가하고 전략적인 규칙 위반을 방지하기 위해, 법률 문서를 기반으로 실시간 시나리오를 생성하는 벤치마크인 MAC-Bench를 제안했다.
Where Instruction Hierarchy Breaks: Diagnosing and Repairing Failures in Reasoning Language Models
추론 언어 모델이 지시 계층 구조를 따를 때 발생하는 오류를 식별하고 원인을 분석할 수 있는 화이트박스 진단 프레임워크를 제안했다.
Scaling Participation in Modular AI Systems
다양한 참여자가 각자의 관심사에 맞춰 학습시킨 소형 모델들을 조합해 모듈형 AI 시스템을 구축하는 'Scaling Participation' 패러다임을 제안하며, 이 방식이 기존 모놀리식 LLM보다 15개 작업에서 최대 15.4% 더 나은 성능을 보였다.
Overcoming the Regulatory Bottleneck via Agent-to-Agent Protocols: A Nuclear Case Study
원자력 발전소 인허가 절차의 비용과 시간을 획기적으로 줄이기 위해 규제 기관과 신청자 간의 소통을 자동화하는 에이전트 기반 통신 프로토콜인 RCP가 제안되었다.
The AI Epistemic Deference Index: A Continuous Measure of Sycophancy
AI 모델이 사용자의 의견에 동조하는 현상인 '지식적 아첨'을 측정하기 위해, 모델의 출력값이 사용자 프롬프트의 태도에 얼마나 민감한지를 점수화하는 AI Epistemic Deference Index(AEDI)를 제안했다.
MemToolAgent overview with a simple restaurant booking scenario where the agent retrieves similar memories, receives feedback on an invalid time format, and generates a reflection to update its memory
과거 대화 경험을 구조화된 기억으로 저장하고 활용하여 LLM 에이전트의 도구 사용 능력을 개선하는 프레임워크인 MemToolAgent를 제안했다.
The CIFAR Synthetic Evidence Corpus for Detecting AI-Generated Evidence
사법 체계 내 AI 생성 문서를 탐지하기 위한 전용 데이터셋인 CIFAR Synthetic Evidence Corpus를 제안한 논문이다.
Stress-testing medical large language models reveals latent safety pathology beyond benchmark accuracy
임상용 거대언어모델의 안전성을 평가하기 위해 실제 임상 사례 기반의 스트레스 테스트 프레임워크인 AI-MASLD가 제안되었다.
Shared Latent Structures Enable Unified Backdoor Detection and Mitigation in LLMs
거대언어모델 내 다양한 백도어 공격이 공유하는 잠재적 메커니즘을 발견하고, 희소 오토인코더를 활용해 이를 탐지 및 억제하는 방법을 제시했다.
Zero-Shot Learning in Industrial Scenarios: New Large-Scale Benchmark, Challenges and Baseline
산업 현장에서의 제로샷 결함 탐지를 위해 8만 개 이상의 데이터를 포함한 MMIO 데이터셋과 개선된 프롬프트 기법인 RTVP를 제안했다.
VATS: Exploiting Implicit Authority in Error-Path Injection via Systematic Mutation
AI 에이전트의 도구 오류 메시지가 안전 가이드를 우회하게 만드는 점을 이용한 공격 기법 VATS가 제안되었으며, 이를 통해 기존 프롬프트 공격의 성공률이 크게 향상됨을 확인했다.
Efficient Skill Grounding via Code Refactoring with Small Language Models
소형 언어 모델(sLM)을 사용하여 구현체나 환경 변화에 유연하게 대응할 수 있도록 스킬 의미와 실행 과정을 분리하는 RECENT 에이전트 프레임워크를 제안했다.
UniQL: Towards Dialect-Universal Benchmarking for Text-to-SQL
다양한 SQL 방언 간의 일반화 성능을 평가할 수 있도록 16개 방언에 걸쳐 24,544개의 쿼리를 포함한 텍스트-SQL 벤치마크 UniQL이 공개되었다.
When Does Delegation Beat Majority? A Delegation-Based Aggregator for Multi-Sample LLM Inference
LLM 다중 샘플 추론 시 다수결 방식보다 성능이 뛰어난 새로운 위임 기반 합의 규칙인 'Propagational Proxy Voting(PPV)'을 제안했다.
SAGE: An LLM-driven Self Reflective Agentic Framework for Fraud Detection
부정 거래 탐지를 위해 LLM 기반의 자가 성찰적 멀티 에이전트 프레임워크인 SAGE가 제안되었다.
Online Agent-as-a-Judge: Situation-Generating Evaluation for Interactive Agents
LLM 기반 대화형 에이전트의 사회적 상호작용 능력을 평가하기 위해 상황 생성 평가 프레임워크인 Online Agent-as-a-Judge를 제안했다.
SciTrace: Trajectory-Aware Safety Reasoning for Scientific Discovery Agents
과학 연구용 AI 에이전트의 의사결정 과정 전반에 안전 추론을 통합하여 단계별 위험을 관리하는 프레임워크인 SciTrace가 제안되었다.
From Validator Selection to Portfolio Collection Optimization in Proof-of-Stake Blockchains
지분 증명 블록체인에서 검증인 선택의 위험을 분산하고 수익성을 극대화하기 위한 포트폴리오 최적화 의사결정 프레임워크를 제안했다.
Beyond Agent Architecture: Execution Assumptions and Reproducibility in LLM-Based Trading Systems
LLM 기반 트레이딩 연구들의 실행 현실성과 재현성을 분석한 결과, 연구마다 데이터와 평가 방식의 차이가 커 성능 비교가 어렵다는 점을 지적했다.
Revisiting the shutdown problem
이 논문은 AI가 야기할 수 있는 재앙을 막기 위한 '셧다운 문제'의 해결이 어렵다는 기존 주장을 반박하고 관련 기술적 해결책의 필요성을 논한다.
To Nuke or Not to Nuke: LLMs' (Missing) Ethical Reasoning and Actions in a High-Stakes Decision-Making Simulation
거대언어모델이 복잡한 전략 게임 환경에서 핵무기 사용과 같은 고위험 결정을 내릴 때 윤리적 판단력을 발휘하는지 분석한 연구.
Curation of a Cardiology Interface Terminology for Highlighting Electronic Health Records using Machine Learning
심장내과 전자의무기록(EHR)의 핵심 정보를 효과적으로 강조하기 위해 머신러닝을 활용한 심장학 인터페이스 용어 체계(CIT) 설계 방식을 제안했다.
Think Before You Act: Intention-Guided Reasoning for LLM-Based Location Prediction
사용자의 이동 의도를 먼저 추론한 뒤 다음 방문 장소를 예측하는 2단계 추론 프레임워크인 IntentPOI가 제안되었다.
Syll: Open-Source Personal Automation with Cross-Surface Execution
다양한 인터페이스에서 API, CLI, GUI를 통합 제어하고 사용자의 시연을 통해 기능을 학습할 수 있는 오픈소스 AI 에이전트 프레임워크 Syll이 공개되었다.
Why Limit the Residual Stream to Layers and Not Tokens? Persistent Memory for Continuous Latent Reasoning
기존 LLM의 추론 과정에서 중간 정보가 유실되는 문제(concept bottleneck)를 해결하기 위해, 잠재 공간에서의 지속적인 추론을 돕는 새로운 메모리 구조를 제안했다.
Reconstructing and forecasting disease trajectories of patients with Alzheimer's disease using routine data in resource-constrained settings
의료 자원이 제한된 환경에서도 일상적인 데이터를 활용해 알츠하이머 환자의 인지 상태 변화를 추적하고 예측할 수 있는 새로운 분석 모델을 제안했다.
Improving Multimodal Reasoning via Worst Dimension Optimization
멀티모달 추론의 오류를 효과적으로 개선하기 위해 개별 차원의 성능을 고려하는 새로운 최적화 기법인 Worst Dimension Optimization을 제안했다.
Claude Fable 5 and Claude Mythos 5
앤스로픽이 새로운 모델인 Claude Fable 5와 Claude Mythos 5를 발표했다.
Migrating Your GitHub CI to Hugging Face Jobs
GitHub CI를 Hugging Face Jobs로 이전하는 방법에 대한 가이드를 다룬 글이다.
Siri AI at WWDC 2026
애플이 화면 정보를 인식하는 비전 LLM 기반의 차세대 Siri AI 기능을 발표했다.
ClawHub Security Signals: A Coding Guide to End-to-End Security Signal Analysis and Verdict Classification on the AI Skills Dataset
ClawHub 보안 신호 데이터셋을 활용해 AI 기술의 보안성을 분석하고 스캐너 결과 간의 상관관계를 측정하여 판정 모델을 학습시키는 방법을 다룬 튜토리얼이다.
Xiaomi MiMo and TileRT Push a 1-Trillion-Parameter Model Past 1000 Tokens Per Second on Commodity GPUs
샤오미 MiMo 팀이 TileRT를 통해 1조 파라미터 모델을 일반 GPU 환경에서 초당 1000 토큰 이상의 속도로 추론할 수 있는 MiMo-V2.5-Pro-UltraSpeed를 발표했다.