Quartz 4

2026-10-02 AI 논문 요약

31 min read

📚 2026-10-02 AI 논문 핵심 요약

📊 순위 기반: 5개 | 🤖 GLM 추천: 5개 📄 전문 분석: 10개 | 📝 초록 분석: 0개

📑 목차

  1. 📊📄 OneStreamer: Unifying Perception, Memory, and… ⬆️146 ❌
  2. 📊📄 Adaptive Reward Routing: Dynamic Multi-Reward… ⬆️117 ❌
  3. 📊📄 On-Policy or Off-Policy Learning? A Systemati… ⬆️114 ❌
  4. 📊📄 Beyond Memory: Harnessing Long-Horizon Agents… ⬆️69
  5. 📊📄 Hierarchical Continuous Diffusion Language Mo… ⬆️69 ❌
  6. 🤖📄 AutoGUIWorld: Image Generators as Visual Worl… ⬆️42
  7. 🤖📄 Fewer Tokens, Better Action: GPT-6 Astra Robo… ⬆️24
  8. 🤖📄 Multimodal Flow: Unified Flow Modeling of Lan… ⬆️17 ❌
  9. 🤖📄 Pretrain Once, Route Anywhere: Towards a Foun… ⬆️6 ❌
  10. 🤖📄 LOCI: Spatial Linear Memory for Streaming Wor… ⬆️5 ❌

1. OneStreamer: Unifying Perception, Memory, and Proactive Response in Streaming Video Interaction

arXiv: 2610.01762 | 기관: Nanjing University | ⬆️ 146 | ⭐ 45 📊 순위선정 | 📄 HTML 태그: ai-paper ml

❌ 분석 실패: Post “https://api.z.ai/api/coding/paas/v4/chat/completions”: context deadline exceeded (Client.Timeout exceeded while awaiting headers)

2. Adaptive Reward Routing: Dynamic Multi-Reward Optimization for Joint Audio-Video Diffusion via Forward-Process RL

arXiv: 2609.37200 | 기관: Tencent | ⬆️ 117 📊 순위선정 | 📄 HTML 태그: ai-paper ml

❌ 분석 실패: Post “https://api.z.ai/api/coding/paas/v4/chat/completions”: context deadline exceeded (Client.Timeout exceeded while awaiting headers)

3. On-Policy or Off-Policy Learning? A Systematic Study of Distillation Dynamics

arXiv: 2609.35259 | 기관: University of Cambridge | ⬆️ 114 📊 순위선정 | 📄 HTML 태그: ai-paper ml

❌ 분석 실패: Post “https://api.z.ai/api/coding/paas/v4/chat/completions”: context deadline exceeded (Client.Timeout exceeded while awaiting headers)

4. Beyond Memory: Harnessing Long-Horizon Agents with Explicit Belief States

arXiv: 2610.01415 | 기관: alibaba | ⬆️ 69 | ⭐ 16 📊 순위선정 | 📄 HTML 태그: llm-agent belief-state pomdp long-horizon memory-management agentic-ai inference-time error-recovery 사전 지식: POMDP(부분 관측 마르코프 결정 과정), Belief State(신념 상태), ReAct 패턴과 LLM 에이전트 구조, 컨텍스트 윈도우와 메모리 관리 기법(압축·요약), 근본 원인 분석(RCA) 기반 진단 태스크

한 줄 요약

LLM 에이전트의 장기 과제 실패 원인이 ‘기억 부족’이 아니라 ‘현재 세계에 대한 일관된 믿음의 부재’임을 밝히고, 추론 시점에 신념 상태를 구축하고 끊임없이 검증·복구하는 PoS 프레임워크를 제안한 연구다.

💡 핵심 아이디어

탐정이 현장 사진을 아무리 많이 쌓아두어도 사건을 풀 수 없듯이, 에이전트도 상호작용 기록을 길게 쌓는 것만으로는 현재 세계를 정확히 이해할 수 없다. PoS는 탐정의 사건 분석판처럼 ‘지금까지 확인된 사실’, ‘아직 답해야 할 질문’, ‘아직 해야 할 행동’을 명시적으로 판 위에 붙여둔다. 그리고 매 단계마다 감시자가 이 판이 새 증거와 모순되는지 검증하고, 제자리걸음이 포착되면 원인을 진단해 맞춤형 복구 전략으로 궤도를 되돌린다.

문제 정의

긴 호라이즌(long-horizon, 여러 단계에 걸친 작업 수행)에서는 에이전트의 행동이 환경 자체를 바꾸고, 새 관측이 이전 추론을 무효화할 수 있다. 원시 궤적(raw trajectory)이나 기존 메모리 기법(압축·요약·재구성)은 과거 증거를 보존할 뿐, 어떤 사실이 지금도 유효한지, 어떤 추론이 아직 성립하는지, 무엇이 미해결인지에 대한 명시적이고 일관된 현재 세계 추정을 보장하지 못한다. 그 결과 오래되었거나 모순된 정보가 이후 의사결정에 계속 누적되어, 에이전트가 잘못된 전제 위에서 행동을 반복하는 문제가 발생한다.

🔬 방법론 상세

PoS는 에이전트와 환경의 상호작용을 POMDP(부분 관측 마르코프 결정 과정, 상태를 직접 관측할 수 없는 확률적 의사결정 모형)로 정식화한다. 시점 t의 잠재 세계 상태 s_t는 직접 볼 수 없고, 상호작용 이력 h_t가 주어지면 신념 상태 b_t(s)는 s_t에 대한 사후 확률 분포가 된다. PoS는 이를 다음과 같은 구조화된 과제 조건화 신념으로 구현한다.

$$B_t = (W_t, G, \Delta^E_t, \Delta^A_t)$$

여기서 W_t는 과제 관련 세계 상태의 구조화된 추정치, G는 과제 목표, ΔE_t는 증거 공백(Evidence Gap, 아직 알아내지 못한 것), ΔA_t는 행동 공백(Action Gap, 아직 수행하지 않은 것)이다. 전체 파이프라인은 세 구성요소로 이루어진다.

  • 신념 모델링(Belief Modeling): 상호작용에서 얻은 증거로 위 신념 B_t를 최초 구성하고, 각 단계마다 점진적으로 갱신한다. 무엇을 알고 무엇을 모르는지가 신념 안에 명시적으로 구분된다.
  • 신념 기반 상호작용(Belief-Guided Interaction): 매 행동을 현재 신념과 활성 공백(Active Gap)에 조건화해 선택한다. Belief Sentinel이라는 검증 장치가 신념과 관측 간 일관성을 검사하고, 과제 관련 진행 상황을 기록한다.
  • 포획 인지 복구(Trapping-Aware Recovery): 신념 건강도(belief health)를 추정해 Belief Trapping(에이전트가 목표를 향한 의미 있는 진전 없이 행동만 반복하는 상태)을 탐지한다. 포획 양상과 공백 유형에 맞춰 복구 제약(recovery constraints)을 조합해 진행을 회복시킨다.

핵심 기법

가장 중요한 것은 ‘신념 유지 루프’다. 신념을 한 번 만들어 두면 끝이 아니라, ① 행동 전에 활성 공백에 집중하도록 행동을 조건화하고, ② Belief Sentinel이 매 갱신마다 일관성을 검증하며, ③ 진전이 정체되면 포획 원인별로 분해된(factorized) 복구 제약을 거는 세 단계가 계속 반복된다. 저자들이 결론에서 강조하듯 명시적 신념 구축만으로는 부족하고, 이 유지 체계가 신뢰성의 핵심이다.

📊 정량적 결과

주요 성과

  • 평가 규모: 목표 지향 실행형 2종(ALFWorld, LOCA-Bench)과 증거 탐색 진단형 2종(RCA-100, ClinDiag), 총 4개 장기 과제 벤치마크에서 3개 LLM 백본 모두 일관된 성능 향상 달성
  • 베이스라인 비교: 원시 궤적(Raw Trajectory), 컨텍스트 압축(ACON), 적응적 보존(PACE), 계층형 작업 기억(HiAgent), 감사형 실행 구조(LongHorizon-Harness) 등 6개 방식 대비 실행(execution)과 진단(diagnosis) 과제에서 모두 우위
  • 맥락 성장에 대한 회복력: 상호작용이 길어질수록 성능 저하 폭이 베이스라인 대비 완만해, 컨텍스트 길이 증가에 강건함

수치 관련 안내

제공된 논문 발췌문에는 벤치마크별 정확한 향상 백분율이 포함되어 있지 않다. 위 내용은 초록과 실험 설계에 명시된 정성적 결론 및 실험 규모를 정리한 것이며, 벤치마크별 세부 수치는 본문의 실험 결과 표를 직접 확인해야 한다.

🚀 기존 대비 개선점

  • 기존 기억 중심 접근(압축, 적응적 보존, 계층형 메모리)이 ‘오래된 정보를 어떻게 저장하고 요약할지’에 집중했다면, PoS는 ‘지금 유효한 정보가 무엇인지’를 명시적으로 표현하고 검증한다는 점에서 문제를 다르게 정의한다.
  • 단순히 신념을 구축하는 방식과 달리, 일관성 검증(Sentinel)과 진전 정체 탐지(Belief Trapping 복구)를 결합해 틀린 신념이 굳어지는 현상을 능동적으로 차단한다.
  • 모델 파인튜닝 없이 추론 시점(inference-time)에 동작하므로, 어떤 LLM 백본 위에도 붙여서 쓸 수 있다.

🎯 활용 분야

  • 장기 자동화 에이전트: 멀티스텝 코딩, 웹 탐색, 컴퓨터 사용 에이전트에서 진행 상황 추적과 무한 반복 방지
  • 진단형 AI 시스템: 근본 원인 분석(RCA)이나 임상 진단 보조처럼 가설을 세우고 판별적 증거를 수집해 결론을 좁혀가는 워크플로우
  • 프로덕션 에이전트 운영: 에이전트가 제자리걸음에 빠졌는지 실시간 감시하고 자동으로 복구해야 하는 신뢰성 중심 환경

한계 및 주의사항

  • 토큰 오버헤드: 신념 구축·검증·복구를 위해 추가 추론 연산이 필요하며, 저자들도 성능 유지하면서 이 비용을 줄이는 것이 향후 과제라고 명시했다.
  • 추론 시점 프레임워크의 특성상 파이프라인 구조가 복잡해지고 컴포넌트 간 호출 비용이 커질 수 있어, 실무 적용 시 지연 시간과 운영 복잡도가 병목이 될 수 있다.

5. Hierarchical Continuous Diffusion Language Models

arXiv: 2610.02193 | 기관: University of Illinois at Urbana-Champaign | ⬆️ 69 | ⭐ 43 📊 순위선정 | 📄 HTML 태그: ai-paper ml

❌ 분석 실패: Post “https://api.z.ai/api/coding/paas/v4/chat/completions”: context deadline exceeded (Client.Timeout exceeded while awaiting headers)

6. AutoGUIWorld: Image Generators as Visual World Models for GUI Agent

arXiv: 2610.01215 | 기관: Tencent Hunyuan | ⬆️ 42 | ⭐ 4 🤖 GLM추천 | 📄 HTML 태그: gui-agent world-model synthetic-data image-generation data-engine vlm trajectory-synthesis computer-use 사전 지식: GUI 에이전트(Computer Use Agent), 세계 모델(World Model), 확산/자기회귀 이미지 생성 모델(Diffusion·Autoregressive Image Generation), 비전-언어 모델과 임베딩(VLM·Embedding), 합성 데이터 생성(Synthetic Data Generation)

한 줄 요약

이 논문은 실제 소프트웨어를 설치하거나 실행하지 않고도, 이미지 생성 모델을 ‘화면이 어떻게 변하는지 예측하는 세계 모델(World Model)‘로 활용해 GUI 에이전트(스크린샷을 보고 마우스·키보드로 컴퓨터를 조작하는 AI)의 학습 데이터 79,266건을 저비용으로 합성할 수 있음을 증명했다는 점에서 중요하다.

💡 핵심 아이디어

조종 훈련을 위해 실제 비행기를 띄우지 않고 비행 시뮬레이터를 쓰는 것과 같다. AutoGUIWorld에서 계획자(Planner)는 “이 버튼을 클릭하면 창이 열린다” 같은 시나리오 대본을 미리 짜는 교관 역할을 하고, 이미지 생성기는 그 대본에 맞춰 다음 화면을 그려내는 시뮬레이터 역할을 한다. 이렇게 만든 ‘가상 조종 기록’을 실제 궤적처럼 에이전트 학습에 쓰는 것이 핵심이다.

문제 정의

GUI 에이전트가 소프트웨어를 잘 다루려면 ‘어떤 행동이 화면을 어떻게 바꾸는지’를 배울 수 있는 대규모 상호작용 궤적(Trajectory, 스크린샷-행동 시계열 기록)이 필요하다. 그런데 궤적의 다양성은 수집 환경에 종속된다. 새로운 소프트웨어를 추가하려면 설치, 설정, 실행 비용이 들고, CAD·전자설계 같은 전문 소프트웨어는 접근 자체가 어렵다. 기존 환경에서 궤적을 더 모아도, 환경에 없는 소프트웨어의 상호작용은 절대 얻을 수 없다는 것이 근본 한계다.

🔬 방법론 상세

  • 두 층 분해(Two-Layer Decomposition): 생성 과정을 계획 층과 렌더링 층으로 나눈다. 계획 층에서 메타 플래너 Π_ψ가 작업 지시 τ와 시드 컨텍스트 c₀(플랫폼, 시각 스타일, 초기 GUI 설명)를 받아 원자적 행동 시퀀스(Atomic Action, 클릭·타이핑·스크롤·드래그 같은 최소 단위 동작) a₀:T₋₁과 각 행동의 예상 시각적 변화 δ₀:T₋₁을 식 (a₀:T₋₁, δ₀:T₋₁) ~ Π_ψ(τ, c₀)에 따라 사전 생성한다.
  • 시각 상태 대리체(Visual State Proxy): 롤아웃 층에서 이미지 생성기(gpt-image-2)가 각 행동과 예상 변화를 조건으로 다음 화면 s̃ₜ을 렌더링한다. s̃ₜ는 창 배치, 페이지 내용, 포그라운드 앱, UI 컨트롤, 시각 스타일 같은 ‘화면에 보이는 것’만 담으며, 파일시스템이나 브라우저 DOM 같은 실제 시스템 내부 상태는 포함하지 않는다. 덕분에 소프트웨어 실행 없이도 궤적을 만들 수 있다.
  • 시드 조건화(Seed-Conditioned Generation): 초기 GUI 시드를 먼저 샘플링해 구현한 뒤, 그 시드를 조건으로 작업 지시 τ를 생성한다. 화면과 작업이 서로 어울리도록 일관성을 확보하는 장치다.
  • 품질 검증 파이프라인: Qwen 임베딩(문장·이미지를 벡터로 변환하는 표현) 특징 거리, 저수준 이미지 통계, 인터페이스 구조 분석을 통해 합성 데이터가 실제 데이터 분포에 얼마나 가까운지 측정한다.

핵심 기법

가장 중요한 것은 ‘먼저 계획하고, 나중에 그린다’는 분리 전략이다. 이미지 생성기에게 “10단계 작업을 알아서 해봐”라고 하면 중간에 화면 일관성이 무너지기 쉽다. 대신 플래너가 전체 행동 순서와 각 단계의 예상 화면 변화를 미리 대본으로 확정하고, 생성기는 대본의 한 장면씩만 그린다. 이렇게 하면 각 화면이 이전 행동과 논리적으로 연결되어, 여러 단계로 이어지는 워크플로우 궤적이 비교적 일관성 있게 유지된다.

📊 정량적 결과

주요 성과

  • 총 79,266개의 학습 샘플을 4개 GUI 환경에 걸쳐 생성: Chrome 35,209건, Ubuntu 24,250건, Windows 14,778건, macOS 5,029건
  • 실제 공개 코퍼스(ScaleCUA, AgentNet, aria_ui, WebSTAR, Mind2Web, OS-Atlas)와 비교했을 때, ScaleCUA 대비 더 넓은 인터페이스 커버리지를 확보
  • Qwen 임베딩 기준 특징 거리가 실제 데이터 소스 간(cross-source) 변동 폭과 동등한 수준을 기록해, 합성 화면이 실제 분포에서 크게 벗어나지 않음을 정량적으로 뒷받침

수치 해석 시 참고

제공된 논문 발췌 범위에는 “기존 대비 몇 % 향상” 형태의 다운스트림 성능 수치는 명시되어 있지 않다. 위 수치는 데이터 규모와 분포 유사도 측면에서 확인 가능한 결과이며, 정확한 정확도 개선 %는 본문 전체의 실험 절을 추가로 확인해야 한다.

🚀 기존 대비 개선점

  • 실제 소프트웨어의 설치, 설정, 실행이 전혀 필요 없어 데이터 수집 비용과 시간이 크게 줄어든다. 기존 방식은 환경 풀을 늘릴 때마다 배포 비용이 선형적으로 증가했다.
  • 컬렉션에 없는 소프트웨어, 즉 라이선스나 접근성 때문에 수집이 어려웠던 전문 응용 프로그램의 인터페이스 상태도 합성 범위에 넣을 수 있다.
  • 플랫폼, 시각 스타일, 앱 종류를 자유롭게 조합해 샘플링하므로, 같은 환경을 반복 수집하는 방식으로는 얻을 수 없는 조합적 다양성을 확보한다.

🎯 활용 분야

  • GUI 에이전트의 사전학습 및 파인튜닝용 대규모 데이터 엔진으로 활용해, 환경 구축 비용 없이 컴퓨터 사용(Computer Use) 능력을 학습시킬 수 있다.
  • 특정 소프트웨어나 워크플로우에 특화된 수직형(Vertical) GUI 세계 모델을 만드는 기반 기술로 쓸 수 있다. 예를 들어 CAD 도구 전용 에이전트를 만들 때 해당 도메인 궤적만 대량 합성하는 방식이다.
  • 접근이 어려운 전문 분야 소프트웨어(과학, 전자설계 등)나 희귀 UI 상태에 대한 평가 시나리오와 데이터 증강에 응용할 수 있다.

한계 및 주의사항

  • 궤적이 길어지고 상호작용이 복잡해질수록 생성 오류가 누적되어, 실제로는 일어나지 않을 환각된(Hallucinated) 인터페이스 상태나 행동 결과가 만들어질 수 있다. 합성 궤적을 그대로 신뢰하기보다 필터링 절차가 필요하다.
  • s̃ₜ는 어디까지나 화면 수준의 시각적 대리체일 뿐이므로, 파일시스템 내용이나 앱 내부 논리 같은 진짜 시스템 상태와의 불일치가 생길 여지가 있다. 저자들은 도메인 특화 학습으로 장기(long-horizon) 일관성을 높이는 것을 향후 연구 방향으로 제시한다.

7. Fewer Tokens, Better Action: GPT-6 Astra Robot Agents with 14% Higher Success Rate but 65% Fewer Tokens

arXiv: 2610.01939 | 기관: DAGroup-PKU | ⬆️ 24 | ⭐ 17 🤖 GLM추천 | 📄 HTML 태그: robot-learning vlm-agent code-execution token-efficiency vla tool-calling robot-manipulation llm-agents 사전 지식: VLM (Vision-Language Model), Tool Calling (Function Calling), VLA 정책 (Vision-Language-Action), Code as Policies (코드 생성 기반 로봇 제어 패러다임), 로봇 프리미티브 (모션·인식·파지 등 재사용 가능한 기본 동작 모듈)

한 줄 요약

로봇 VLM 에이전트가 도구 호출(tool calling) 대신 Python 코드 셀로 프리미티브를 합성하고 관찰을 선택적으로 받으면, 동일한 LLM 호출 예산에서 성공률을 63.1%에서 71.7%(상대적 14% 향상)로 높이면서 입력 토큰은 65% 절감할 수 있음을 입증한 논문이다.

💡 핵심 아이디어

기존 tool-calling 방식은 현장 작업자가 물건 하나를 옮길 때마다 상사(VLM)에게 전화를 걸어 지시를 받고, 매번 현장 사진을 첨부해 보고해야 하는 구조다. PyRUA-Lean은 상사가 “목표 지점을 계산하고, 성공하면 내려가서 물건을 놓고, 작업이 끝나지 않았을 때만 사진을 찍어 보내라”라는 매뉴얼(코드)을 한 번에 작성해주면, 작업자가 현장(런타임)에서 조건문과 재시도를 스스로 처리하고 꼭 필요한 보고만 올리는 방식이다. 결국 판단을 위해 LLM을 부르는 횟수 자체가 줄어들어 비용과 시간이 동시에 절감된다.

문제 정의

VLM 기반 로봇 에이전트는 tool-calling 인터페이스에서 이전 도구의 결과에 의존하는 동작을 할 때마다 VLM을 재호출해야 하고, 중간 결과가 대화 기록에 계속 누적되어 이후 모든 호출에서 재처리된다. 특히 선행 연구인 RPent는 모션 프리미티브 실행이 끝날 때마다 여러 카메라 이미지를 자동 반환하기 때문에, 위치 추정·이동·복구가 반복되는 태스크에서는 개별 프리미티브가 정상 작동하더라도 추론 오버헤드가 크게 불어난다. 이 논문은 “VLM 에이전트가 로봇 프리미티브를 어떻게 조합해야 성공률과 토큰 효율을 동시에 높일 수 있는가”라는 질문에 답한다.

🔬 방법론 상세

  • 프리미티브 합성 (Primitive Composition): VLM이 도구를 하나씩 호출하는 대신, 클래식 모션·인식 프리미티브와 학습된 VLA 정책(Vision-Language-Action, 언어와 시각으로 동작을 직접 출력하는 정책)을 하나의 Python 셀에 헬퍼 함수, 조건 검사, 로컬 재시도와 함께 조합한 코드를 생성한다. 중간 실행은 전부 런타임 내부에서 처리되므로 LLM 턴을 소모하지 않는다.
  • 선택적 관찰 (Selective Observation): 프리미티브가 카메라 이미지를 자동으로 반환하지 않고, 코드 안에서 명시적으로 요청한 이미지와 상태 메시지만 기록되었다가 셀 종료 시점에 한꺼번에 반환되어 재계획(replanning)에 사용된다. 성공한 실행은 이미지 없이 출력 텍스트 몇 줄만 돌려받는다.
  • 셀 단위 제어 흐름: 셀 내부에서 프리미티브의 출력을 검사한 뒤 조건부로 후속 동작을 실행하고, 실패 시 로컬에서 재시도한다. VLM은 셀 전체의 요약 피드백만 받아 다음 셀을 계획한다.

핵심 기법

가장 중요한 것은 판단의 위치를 LLM에서 코드로 옮기는 것이다. 예를 들어 물건 놓기(placement)에서는 장면 기하학(scene geometry)으로 배치 좌표를 계산하고(compose), 하강과 릴리스 동작을 조건부로 실행하며(compose), 태스크가 아직 끝나지 않은 경우에만 이미지를 요청한다(select). 이 한 개의 셀이 기존 baseline의 14~17번 단계, 즉 LLM 턴 4번을 1번으로 줄였고, 성공 시에는 이미지 없이 출력 5줄만 반환했다.

📊 정량적 결과

주요 성과

  • 성공률 63.1% → 71.7% (절대 +8.6%p, 상대적 약 14% 향상), 총 700개 페어드 태스크 인스턴스와 1,400 에피소드 기준
  • 두 에이전트가 모두 해결한 인스턴스에서 LLM 호출 49% 감소, 입력 토큰 65% 감소
  • 평가 환경: LIBERO-PRO 40개 태스크, RoboTwin 2.0 50개 양팔 태스크, RoboCasa365 Target50 50개 태스크, 각 5개 시드. 동일 조건 비교를 위해 양측 모두 GPT-6 Astra(고추론 모드, Codex CLI), RPent의 프리미티브 스택, SAM 3 세그멘테이션, 그리고 각 벤치마크별 동결된 VLA 정책(π0.5, LingBot-VLA, RLDX-1)을 공유했다.

🚀 기존 대비 개선점

  • 동일한 LLM 호출 예산 조건에서 tool-calling baseline 대비 더 높은 과업 성공률 달성 (H1 검증)
  • 호출 감소가 토큰 절감의 대부분을 차지. 즉, 관찰 이미지를 줄이는 것보다 VLM 호출 횟수 자체를 줄이는 구조가 효과적이라는 것을 정량적으로 확인
  • VLA 정책이 없거나 운영 가이드(operating guide)가 제공되지 않는 환경(RoboCasa365)에서도 토큰 효율이 유지되어 방법의 견고성 확보 (H3 검증)

🎯 활용 분야

  • 물류·창고 로봇: 집기, 분류, 적재 같은 장기 과업에서 API 추론 비용과 지연 시간을 크게 절감
  • 가정용 서비스 로봇: 반복적인 정리·배치 과업을 적은 호출로 처리해 실시간성과 경제성 확보
  • 로봇 외 일반 LLM 에이전트 설계: 도구 호출 대신 코드 실행 인터페이스로 전환해 컨텍스트 효율을 높이는 패턴은 코딩 에이전트, 웹 에이전트 등에도 그대로 적용 가능

한계 및 주의사항

  • VLA 정책이 실행의 대부분을 담당하는 태스크에서는 개선폭이 작아진다. 프리미티브 합성과 관찰 선택의 이득은 VLM이 개입해야 하는 지점이 많을 때 커지기 때문이다.
  • 평가가 전부 시뮬레이션(LIBERO-PRO, RoboTwin 2.0, RoboCasa365)으로 수행되었으며 실제 로봇 환경에서의 검증은 본문에 명시되지 않는다. 저자들 역시 피드백 관리(feedback management) 전략에 대한 후속 연구가 필요하다고 밝힌다.

8. Multimodal Flow: Unified Flow Modeling of Language and Vision in Embedding Spaces

arXiv: 2609.40362 | 기관: HUST Vision Lab | ⬆️ 17 | ⭐ 10 🤖 GLM추천 | 📄 HTML 태그: ai-paper ml

❌ 분석 실패: Post “https://api.z.ai/api/coding/paas/v4/chat/completions”: context deadline exceeded (Client.Timeout exceeded while awaiting headers)

9. Pretrain Once, Route Anywhere: Towards a Foundation Model for LLM Routing

arXiv: 2609.37362 | 기관: Nanjing University | ⬆️ 6 | ⭐ 3 🤖 GLM추천 | 📄 HTML 태그: ai-paper ml

❌ 분석 실패: Post “https://api.z.ai/api/coding/paas/v4/chat/completions”: context deadline exceeded (Client.Timeout exceeded while awaiting headers)

10. LOCI: Spatial Linear Memory for Streaming World Models

arXiv: 2609.40222 | 기관: Institute of Foundation Models | ⬆️ 5 | ⭐ 3 🤖 GLM추천 | 📄 HTML 태그: ai-paper ml

❌ 분석 실패: Post “https://api.z.ai/api/coding/paas/v4/chat/completions”: context deadline exceeded (Client.Timeout exceeded while awaiting headers)

📅 생성일: 2026-10-02 | 🤖 GLM-4.7

그래프 뷰