Quartz 4

2026-09-22 AI 논문 요약

24 min read

📚 2026-09-22 AI 논문 핵심 요약

📊 순위 기반: 5개 | 🤖 GLM 추천: 5개 📄 전문 분석: 10개 | 📝 초록 분석: 0개

📑 목차

  1. 📊📄 RRSI: Regularized Recursive Self-Improvement … ⬆️153 ❌
  2. 📊📄 WorldCrafter: Consistent Video World Model wi… ⬆️112 ❌
  3. 📊📄 GameHorizon Suite: Multi-Horizon Data and Eva… ⬆️111 ❌
  4. 📊📄 Transferring the Intelligence of VLMs to Robo… ⬆️101
  5. 📊📄 OmniEdu: Open Foundation Models for Learning … ⬆️66 ❌
  6. 🤖📕 Harness-Zero: Harness Distillation via Agent-… ⬆️12 ❌
  7. 🤖📄 Jev-Mem: System-One-Controlled Agentic Memory… ⬆️12 ❌
  8. 🤖📄 HuRo: Robotizing Human Videos for Scalable VL… ⬆️7
  9. 🤖📕 Towards Full Pipeline FP8 Reinforcement Learn… ⬆️5 ❌
  10. 🤖📄 Think Like a World Model, Act Like a VLA: Dis… ⬆️5 ❌

1. RRSI: Regularized Recursive Self-Improvement of Agent Harnesses

arXiv: 2609.24972 | 기관: Google | ⬆️ 153 | ⭐ 54 📊 순위선정 | 📄 HTML 태그: ai-paper ml

❌ 분석 실패: Post “https://api.z.ai/api/coding/paas/v4/chat/completions”: context deadline exceeded (Client.Timeout exceeded while awaiting headers)

2. WorldCrafter: Consistent Video World Model with Implicit 3D-aware Memory

arXiv: 2609.24984 | 기관: ARC Lab, Tencent | ⬆️ 112 | ⭐ 194 📊 순위선정 | 📄 HTML 태그: ai-paper ml

❌ 분석 실패: Post “https://api.z.ai/api/coding/paas/v4/chat/completions”: context deadline exceeded (Client.Timeout exceeded while awaiting headers)

3. GameHorizon Suite: Multi-Horizon Data and Evaluation in Gameplay

arXiv: 2609.25001 | 기관: Tencent | ⬆️ 111 | ⭐ 126 📊 순위선정 | 📄 HTML 태그: ai-paper ml

❌ 분석 실패: Post “https://api.z.ai/api/coding/paas/v4/chat/completions”: context deadline exceeded (Client.Timeout exceeded while awaiting headers)

4. Transferring the Intelligence of VLMs to Robotic Control

arXiv: 2609.22966 | ⬆️ 101 📊 순위선정 | 📄 HTML 태그: vlm robotics embodied-ai zero-shot in-context-learning robot-manipulation agentic-ai foundation-models 사전 지식: VLM(Vision-Language Model), VLA(Vision-Language-Action Model), 인컨텍스트 학습(In-context Learning), 폐쇄 루프 제어(Closed-loop Control), 에이전틱 AI(Agentic AI)

한 줄 요약

RoboDawn은 사전학습된 VLM(비전-언어 모델)의 파라미터를 전혀 학습시키지 않고, 인간이 직관적으로 이해할 수 있는 이산 명령 인터페이스와 컨텍스트 설계만으로 디지털 세계의 지능을 물리 세계의 로봇 제어로 전이할 수 있음을 증명하여, 대규모 로봇 데이터 수집 없이도 범용 로봇 지능을 달성하는 새로운 패러다임을 제시한다.

💡 핵심 아이디어

베테랑 운전자가 평생 처음 보는 차에 앉아도, 핸들과 변속 레버의 조작법(인터페이스)만 간단히 설명해주면 운전 실력은 그대로 발휘되는 것과 같다. 기존 VLA(Vision-Language-Action, 비전-언어-행동 모델)는 VLM이라는 ‘두뇌’를 로봇 데이터로 재교육(파인튜닝)하는 방식이었다면, RoboDawn은 두뇌는 완전히 얼려둔(frozen) 채 로봇을 조종하는 ‘조종간’만 인간 중심적으로 재설계한다. 즉, 지능을 옮기는 게 아니라 지능이 이미 가진 능력을 끌어낼 통로를 만드는 발상이다.

문제 정의

VLA나 WAM(World-Action Model) 계열은 시각·언어 관측에서 로봇 동작으로의 매핑을 대규모 정합 데이터로 학습해야 한다. 이 방식은 ① 데이터 수집 비용이 막대하고, ② 특정 로봇 구현체(embodiment)에 종속적이며, ③ 로봇·환경·태스크 확장이 어렵다는 근본 한계가 있다. 더 심각한 것은, VLM을 동작 예측용으로 학습시키면 명령 이해 같은 범용 지능 자체가 저하된다는 최근 증거들이다. 저자들의 핵심 질문은 이것이다: “디지털 세계에서 주로 길러진 VLM의 지능은, 별도의 로봇 학습 없이도 물리 세계로 전이될 수 있는가?”

🔬 방법론 상세

  • 폐쇄 루프(Closed-loop) 에이전틱 제어: 태스크는 자연어 지시 L로 주어지고, 매 결정 라운드 t마다 동결된 VLM π_θ가 다음을 입력받아 추론 y_t와 의미적 동작 명령 시퀀스 a_t를 출력한다. 수식으로는 (y_t, a_t) = π_θ(L, E, D; I_t, x_t, F_{t-1}, M_t). 여기서 I_t는 주석이 달린 시각 관측, x_t는 측정된 로봇 상태, F_{t-1}은 이전 라운드의 실행 피드백, M_t는 상호작용 메모리다.
  • 환경-관측-기억 사이클: 환경이 동작을 실행해 (s_{t+1}, F_t) = E_P(s_t, a_t)로 새 상태와 피드백을 반환하고, 관측기가 (I_{t+1}, x_{t+1}) = O_P(s_{t+1})을 생성하며, 메모리가 M_{t+1} = U(M_t, a_t, y_t, F_t, x_{t+1})로 갱신된다. 즉, 실패한 시도와 그 결과를 기억해 다음 결정에 반영하는 자기 적응 구조다.
  • 인간 직관적 이산 명령 인터페이스: 로봇의 제어를 이동(translation), 회전(rotation), 그리퍼(gripper) 조작의 컴팩트한 이산 명령 집합으로 노출한다. 그리드 기반 위치 지정(grid-based localization)을 통해 이미지 좌표를 로봇 좌표계의 동작으로 번역하며, 작업 공간 제약, 카메라 설정, 그리퍼 속성 등은 로봇-환경 프로파일 E에 담아 에피소드 내내 고정 조건으로 제공한다.
  • 인컨텍스트 시연(In-context Demonstration): 태스크별 학습 대신, 인터페이스 사용 예시 집합 D를 프롬프트에 넣어 “이 조종간을 이렇게 쓴다”는 사용 설명서 역할만 한다. 단 1개의 시연(1-shot)으로도 성능이 크게 오른다.

핵심 기법

가장 중요한 것은 학습이 아니라 인터페이스 설계를 통한 지능 전이다. VLM에게 저수준 관절 토크나 연속 좌표를 예측하게 하는 대신, “10cm 앞으로 이동”, “그리퍼 닫기”처럼 인간이 로봇을 가르칠 때 쓰는 언어에 가까운 이산 명령 체계로 동작 공간을 재표현한다. 여기에 ① 환경 규약(프로파일 E), ② 사용 예시(시연 D), ③ 실행 결과 피드백(F), ④ 시도 이력(메모리 M)을 매 스텝 프롬프트로 조립해 넣으면, 파라미터는 한 번도 바꾸지 않았는데도 VLM이 시행착오를 하며 태스크를 수행한다. 마치 설명서와 메모장만 쥐여준 셈이다.

📊 정량적 결과

주요 성과

  • RoboTwin 2.0 C2R 벤치마크(50개 태스크, 도메인 랜덤화 평가)에서, 태스크당 50개씩 총 2,500개 시연으로 학습한 최신 VLA/WAM 기반 모델들의 성공률은 X-WAM 25.8%, π0.5 46.0%, LingBot-VLA 50.4% 수준이다.
  • RoboDawn은 이와 대조적으로 태스크별 학습이 전혀 없는 zero-shot 설정에서 강력한 성공률을 기록했고, 단 1개의 무작위 시연(1-shot)만 추가해도 성능이 크게 향상됨을 보고했다. 즉, 2,500개 데이터로 학습한 모델들과 경쟁하거나 이를 능가하는 성능을 데이터 0~1개로 달성한 셈이다.
  • 시뮬레이션(RoboTwin 2.0, RoboDojo)을 넘어 실제 로봇에 배포하여 서로 다른 구현체와 물리 환경에서도 전이 성능을 검증했으며, Claude Code, Codex 같은 에이전틱 하니스까지 다양한 VLM 백본으로 실험해 접근법의 일반성을 확인했다.

🚀 기존 대비 개선점

  • 학습 비용 제로: VLA 계열이 태스크당 수십~수천 개의 시연 데이터와 포스트 트레이닝이 필요한 반면, RoboDawn은 태스크별 학습 없이 프롬프트 구성만으로 동작한다.
  • 구현체 독립성: 동작 명령이 로봇에 구애받지 않는 추상적 수준(이동·회전·그리퍼)으로 정의되므로, 로봇이 바뀌어도 프로파일 E만 교체하면 된다.
  • 범용 지능 보존: 액션 예측을 위해 VLM을 재학습하지 않으므로, 파인튜닝으로 인한 명령 이해·추론 능력의 저하 문제가 원천적으로 발생하지 않는다.

🎯 활용 분야

  • 신규 로봇 즉시 배포: 데이터 수집과 학습 없이 새로운 태스크(예: 물류 창고의 새 품목 픽앤플레이스)를 자연어 지시만으로 수행시킬 수 있다.
  • 로봇 연구·프로토타이핑: 태스크 아이디어를 데이터셋 제작 전에 빠르게 검증하는 저비용 실험 도구로 활용 가능하다.
  • 멀티 임바디먼트 범용 제어: 서로 다른 로봇 팔·그리퍼를 하나의 VLM 두뇌로 제어해야 하는 범용 가정용·서비스 로봇의 상위 제어기.

한계 및 주의사항

  • 폐쇄 루프 구조상 매 동작 스텝마다 VLM 추론을 호출해야 하므로, 실시간성이 요구되는 빠르거나 동적인 조작에는 지연 시간 관점에서 불리하다(프레임워크 구조에서 유추되는 한계).
  • 이동·회전이 이산 명령과 그리드 기반 위치 지정으로 표현되므로, 연속적이고 정밀한 섬세 작업(예: 끈 묶기)의 해상도에는 구조적 제약이 따른다.
  • 성능 상한이 기반 VLM의 능력에 종속되며, 저자들은 결론에서 일반화된 구현 지능이 로봇 데이터 확장이 아니라 더 나은 인터페이스와 교훈(lessons)을 통해 기반 모델에 이미 잠재된 능력을 잠금 해제하는 방식으로도 나타날 수 있다는 방향을 제시하며, 이것이 향후 연구의 축이 될 것임을 시사한다.

5. OmniEdu: Open Foundation Models for Learning and Teaching

arXiv: 2609.23088 | 기관: Peking University | ⬆️ 66 | ⭐ 8 📊 순위선정 | 📄 HTML 태그: ai-paper ml

❌ 분석 실패: Post “https://api.z.ai/api/coding/paas/v4/chat/completions”: context deadline exceeded (Client.Timeout exceeded while awaiting headers)

6. Harness-Zero: Harness Distillation via Agent-as-Harness

arXiv: 2609.24974 | 기관: Peking University | ⬆️ 12 | ⭐ 7 🤖 GLM추천 | 📕 PDF 태그: ai-paper ml

❌ 분석 실패: Post “https://api.z.ai/api/coding/paas/v4/chat/completions”: context deadline exceeded (Client.Timeout exceeded while awaiting headers)

7. Jev-Mem: System-One-Controlled Agentic Memory for Efficient AI Agents

arXiv: 2609.23986 | ⬆️ 12 | ⭐ 25 🤖 GLM추천 | 📄 HTML 태그: ai-paper ml

❌ 분석 실패: Post “https://api.z.ai/api/coding/paas/v4/chat/completions”: context deadline exceeded (Client.Timeout exceeded while awaiting headers)

8. HuRo: Robotizing Human Videos for Scalable VLA Pretraining

arXiv: 2609.10706 | 기관: RLWRLD | ⬆️ 7 | ⭐ 37 🤖 GLM추천 | 📄 HTML 태그: vla robotics human-video pretraining data-scaling imitation-learning egocentric-vision manipulation 사전 지식: VLA(Vision-Language-Action) 정책, 구현체 차이(Embodiment Gap), 모션 리타게팅(Motion Retargeting), 자기중심 영상(Egocentric Video), 카메라 내부 파라미터 추정(Camera Calibration), 사전학습-파인튜닝 패러다임

한 줄 요약

인간 활동 영상을 로봇 관측과 행동 궤적으로 자동 변환(로보타이제이션, Robotization)하는 파이프라인을 만들어 약 63만 개 에피소드, 1억 4천만 프레임 규모의 HuRo 데이터셋을 구축함으로써, 값비싼 실제 로봇 데이터 없이도 VLA(비전-언어-행동) 정책의 사전학습을 확장할 수 있는 길을 열었다는 점에서 중요한 연구다.

💡 핵심 아이디어

유튜브 요리 영상을 보고 로봇이 주방 일을 배우려면, 영상 속 사람 손이 자기 팔처럼 보여야 한다. HuRo는 마치 외국 영화 더빙처럼 원본 인간 영상의 행동 흐름은 그대로 두고, 화면 속 사람을 지우고 그 자리에 로봇 팔을 겹쳐 그리며(비주얼 오버레이), 사람 손동작을 로봇 관절 궤적으로 번역하는(모션 리타게팅, Motion Retargeting) 작업을 대규모로 자동화한 것이다.

문제 정의

VLA 정책(Vision-Language-Action, 언어 명령과 영상을 보고 행동을 결정하는 로봇 정책 모델)은 데이터가 많을수록 좋아지지만, 실제 로봇 데이터 수집은 비용이 매우 크다. 인간 영상은 풍부하고 저렴하지만 인간과 로봇 사이의 구현체 차이(Embodiment Gap, 몸의 구조와 외형이 달라 생기는 불일치) 때문에 바로 쓸 수 없다. 기존 접근법은 과제가 맞는 상황의 영상만 변환했거나, 관측 정렬과 행동 정렬을 따로따로 다루었다. HuRo는 이 두 정렬을 하나의 파이프라인에서 동시에 해결한다.

🔬 방법론 상세

  • 1단계: 인간 영상 어노테이션(Human Video Annotation) — 자기중심 영상(Egocentric Video, 착용자 눈높이에서 찍힌 영상)에서 카메라 내부 파라미터(K, 초점거리 등 카메라의 기하학적 성질)를 droidcalib으로 추정하고, 거의 움직이지 않는 클립은 AnyCalib으로 대체 추정한다. 여기에 손 추적(Hand Tracking)으로 손의 3차원 움직임을 얻고, 조작 구간(Manipulation Segment)을 찾아 적절한 길이의 청크(Chunk, 잘라낸 짧은 구간)마다 언어 지시문(Language Instruction)을 붙인다.
  • 2단계: 행동 변환(Action Conversion) — 어노테이션된 인간 손 움직임을 목표 로봇의 운동학 구조에 맞게 재표적화(Retargeting)하여 로봇 상태와 행동 궤적으로 변환한다. 원본 영상에 없던 중간 신호(카메라 기하, 손 궤적, 언어)를 추론해 채워 넣는 것이 핵심이다.
  • 3단계: 시각 변환(Visual Conversion) — 화면에서 사람의 몸을 제거해 장면을 정리한 뒤, 재표적화된 로봇을 그 위에 겹쳐 그려서 로봇이 직접 움직인 것 같은 관측 데이터를 만든다. 이렇게 관측, 상태, 행동, 언어 지시가 모두 갖춰진 에피소드(Episode, 처음부터 끝까지의 하나의 시행)가 완성된다.

핵심 기법

이 파이프라인의 백미는 관측 정렬과 행동 정렬을 한 번에 한다는 점이다. 사람만 지우고 로봇을 덧칠하면 화면은 로봇 같아도 행동 라벨이 없어 쓸모가 반감되고, 궤적만 변환하면 영상은 사람 모습이라 VLA가 학습하기 어렵다. HuRo는 영상에서 사람을 지우고 리타게팅된 로봇을 그려 넣어, 눈으로 보는 관측과 손으로 쓰는 행동 라벨이 완벽히 짝을 이루는 데이터를 자동으로 대량 생산한다. 서로 다른 출처의 영상에서 누락된 정보(카메라 기하, 손 움직임, 언어)를 추론해 채우는 것도 확장성의 열쇠다.

📊 정량적 결과

  • 데이터 규모: 5개의 서로 다른 인간 영상 소스로부터 약 630K개의 로보타이즈드 에피소드와 142M개의 처리된 프레임을 확보했다.
  • 실측 평가: ALLEX 로봇에서 난이도가 다른 4개 과제로 평가했다. 사과 집어 옮기기(43 데모), 컵 쌓기(40 데모, 양손 협동), 컵누들 전달(16 데모, 물건 전달 포함), 전자레인지 넣기(20 데모, 경첩 문 조작 포함)다.
  • 데이터 스케일링: HuRo 사전학습 데이터를 0%, 10%, 50%, 100%로 나눠 실험한 결과, 사전학습 데이터가 커질수록 파인튜닝 후 실제 조작 성능과 일반화 성능이 꾸준히 향상되는 스케일링 트렌드를 확인했다. 0% 변형(HuRo 없이 바로 파인튜닝)이 최저 성능을 보였다.

주요 성과

  • 사전학습 데이터양에 따른 단조 증가: 10% → 50% → 100%로 HuRo 데이터를 늘릴 때마다 다운스트림 실제 조작 성능이 상승해, 인간 영상 기반 데이터가 진짜 “스케일이 먹는” 데이터원천임을 실증했다.
  • 요소 기여 분석: 비주얼 로보타이제이션(사람을 지우고 로봇을 그리는 변환)과 리타게팅된 행동 감독(로봇 궤적 라벨) 둘 다 있어야 효과가 크다는 것을 제거 실험으로 확인했다.
  • 평가 프로토콜: 단순 성공/실패 외에 단계별 부분 완수 점수(Stage-wise Partial-Completion Score, 과제를 몇 단계까지 해냈는지 채점)와 분포 내(ID)/분포 외(OOD) 조건을 나눠 일반화 능력까지 측정했다.

🚀 기존 대비 개선점

  • 기존 방법은 과제가 맞는 영상만 변환하거나 관측·행동 정렬 중 하나만 다뤘지만, HuRo는 이질적인 영상 소스 전반에 적용 가능한 통합 파이프라인으로 두 갭을 동시에 해소했다.
  • 데모 하나하나 수작업으로 정제하던 방식과 달리, 누락된 중간 신호(카메라, 손, 언어)를 자동 추론해 대규모 데이터 구축이 가능해졌다.
  • 인간 영상이라는 저렴한 데이터로 실로봇 데이터의 부족분을 메우는, 확장 가능한 사전학습 전략의 유효성을 처음으로 체계적으로 검증했다.

🎯 활용 분야

  • 가정용·서비스 로봇의 VLA 사전학습: 주방, 청소 같은 일상 과제 영상이 인터넷에 넘쳐나므로, 이를 저비용 학습 데이터로 전환해 소량의 실로봇 데모만으로 파인튜닝하는 파이프라인을 만들 수 있다.
  • 희소한 과제나 양손 협동 작업 데이터 증강: 컵 쌓기나 물건 전달처럼 실로봇 데모를 모으기 어려운 과제를 인간 영상으로 보충할 수 있다.
  • 로봇 학습용 데이터 증강 도구: 새로운 로봇 플랫폼에 맞춰 기존 인간 영상 라이브러리를 재활용하는 범용 변환 도구로 쓸 수 있다.

한계 및 주의사항

  • 원본이 자기중심 영상에 한정되어 시점 다양성이 제한되고, 카메라 기하·손 궤적·언어를 추정해 채우는 특성상 추정 오류가 데이터 품질에 그대로 반영될 수 있다.
  • 시각적으로 로봇을 덧그리는 방식이므로 실제 로봇의 역학(무게, 마찰, 접촉 힘)이 담기지 않으며, 저자들도 어떤 로보타이제이션 설계가 가장 좋은지(스케일과 디자인의 상호작용)에 대한 추가 연구가 필요하다고 밝혔다.

9. Towards Full Pipeline FP8 Reinforcement Learning for LLMs

arXiv: 2609.22870 | 기관: ByteDance Seed | ⬆️ 5 🤖 GLM추천 | 📕 PDF 태그: ai-paper ml

❌ 분석 실패: Post “https://api.z.ai/api/coding/paas/v4/chat/completions”: context deadline exceeded (Client.Timeout exceeded while awaiting headers)

10. Think Like a World Model, Act Like a VLA: Distilling World-Model Representations into Compact Robot Policies

arXiv: 2609.24682 | ⬆️ 5 🤖 GLM추천 | 📄 HTML 태그: ai-paper ml

❌ 분석 실패: Post “https://api.z.ai/api/coding/paas/v4/chat/completions”: context deadline exceeded (Client.Timeout exceeded while awaiting headers)

📅 생성일: 2026-09-22 | 🤖 GLM-4.7

그래프 뷰