GrandCode: Achieving Grandmaster Level in Competitive Programming via Agentic Reinforcement Learning

← 📚 이번 주 Weekly Digest로 돌아가기

DD-061 GrandCode: Achieving Grandmaster Level in Competitive Programming via Agentic Reinforcement Learning

arXiv: 2604.02721 기관: DeepReinforce Upvotes: 347 | Comments: 2 순위: 이번 주 Top 1

---

GrandCode: Agentic Reinforcement Learning을 통한 경쟁 프로그래밍 그랜드마스터 달성 논문 분석

1. 왜 이 논문이 중요한가?

지금까지的人工지능(AI) 모델들은 구글의 제미니(Deep Think)나 오픈AI의 o3 같은 최신 모델조차도 실제 라이브 경쟁 프로그래밍 대회에서 최고의 인간 그랜드마스터들을 꾸준히 이기지 못했습니다. 단순히 코드를 생성하는 것을 넘어, 복잡한 문제 해결 과정에서 여러 에이전트가 협력하고 스스로 피드백을 통해 학습하는 ‘에이전틱(Agentic)’ 접근 방식이 필수적이었습니다. 이 논문은 GrandCode라는 다중 에이전트 강화 학습 시스템을 통해, 실시간 대회 환경에서 모든 인간 참가자를 제치고 1위를 차지한 최초의 사례를 제시하며 AI 코드 생성 능력의 새로운 지평을 열었습니다.

2. 핵심 아이디어 쉽게 이해하기

복잡한 수술 팀에 비유하기

이 논문의 핵심 시스템인 GrandCode는 마치 ‘고난도 수술을 하는 전문 의료 팀’과 같습니다. 혼자서 모든 것을 처리하는 단일 의사(기존 LLM) 대신, 각자의 역할을 가진 전문가들이 협력하여 환자(난제 문제)를 치료하는 방식입니다.

• 주도적 해결사(Main Solver): 실제 수술 메스를 잡고 문제를 해결하는 주 외과의사입니다. 가장 중요한 추론과 코드를 작성합니다.
• 가설 제안 모델(Hypothesis Model): 수술 전에 환자의 상태를 분석하여 “이런 수술법이 통할 것 같다”라는 가설을 제시하는 진단 의사입니다. 작은 예제를 통해 가설을 검증하고, 맞다면 주 의사에게 알려줍니다.
• 요약 모델(Summarization Model): 수술이 길어지면 기록이 너무 길어지므로, 중요한 정보만 간추려 주 의사의 기억 부담을 줄여주는 간호 기록사입니다.
• 테스트 생성기(Test Generator): 수술 후 합병증이 없는지 확인하기 위해, 의도적으로 위험한 상황(엣지 케이스)을 만들어 시험해보는 검사 의사입니다.

단계별 동작 과정

GrandCode는 크게 두 가지 단계로 작동합니다. 첫째, ‘사전 훈련(Post-training)’ 단계에서는 의료 팀이 다양한 의학 지식을 공부하고(CPT), 실제 시나리오를 연습하며(SFT), 팀워크를 익히는 훈련(Multi-component RL)을 거칩니다. 둘째, ‘실전(Test-time)’ 단계에서는 쉬운 문제는 주 의사가 바로 해결하고, 어려운 문제는 팀 전체가 가동됩니다. 가설 모델이 아이디어를 내고, 요약 모델이 기록을 정리하며, 테스트 생성기가 코드를 공격하면서 팀은 실시간으로 피드백을 주고받으며 답을 수정해 나갑니다.

핵심 알고리즘: Agentic GRPO

여기서 가장 중요한 기술적 기여는 ‘Agentic GRPO’ 알고리즘입니다. 경쟁 프로그래밍은 코드를 짜고 컴파일하고 테스트하는 데 시간이 오래 걸려(1분 이상), AI가 답을 제출하고 결과를 돌려받기까지 사이에 모델이 이미 변경되어버리는 ‘오프-폴리시(Off-policy)’ 문제가 심각했습니다. 이는 학생이 시험을 치는 도중에 머리가 바뀌어 버리는 것과 같습니다.

이를 해결하기 위해 GrandCode는 ‘즉시 보상(Immediate Reward)‘과 ‘지연 교정(Delayed Correction)’ 방식을 사용합니다. 모든 과정이 끝나고 채점 결과를 기다리는 대신, 각 단계(예: 컴파일 성공, 첫 번째 테스트 통과 등)가 완료될 때마다 즉시 점수를 주어 학습을 진행합니다. 나중에 최종 결과가 나오면, 처음에 준 점수와 최종 점수의 차이만큼을 다시 조정하여 정확도를 높입니다. 이렇게 하면 긴 대기 시간 동안에도 효율적으로 학습할 수 있습니다.

3. 실험 결과 분석

이 논문의 성과는 경쟁 프로그래밍의 성지인 코드포스(Codeforces) 라이브 대회 결과에서 가장 확실하게 드러납니다.

• 테스트 벤치마크: 실제 코드포스(Codeforces)의 최근 라이브 라운드 3개에 참여하여 인간 참가자들과 실시간으로 경쟁했습니다.
• 기존 최고 성과(SOTA) 대비 우위:
  • 구글의 AlphaCode는 상위 54% 수준(레이팅 약 1300)에 머물렀습니다.
  • AlphaCode2는 상위 85%까지 올랐으나 여전히 그랜드마스터 수준은 아니었습니다.
  • 오픈AI의 o3는 세계 175위를 기록했고, 구글의 제미니 3 딥 씽크(Gemini 3 Deep Think)는 8위를 기록했으나 라이브 대회가 아닌 과거 문제 풀이 환경이었습니다.
• 주목할 만한 성과: GrandCode는 참여한 3번의 최근 라이브 코드포스 라운드에서 모두 1위를 차지했습니다. 이는 인간 그랜드마스터들을 포함한 모든 참가자를 실시간으로 꺾은 최초의 기록이며, AI가 단순한 코딩 도구를 넘어 최고의 문제 해결사로 진화했음을 입증했습니다.

4. 한계점과 향후 연구 방향

한계점

저자들은 논문에서 직접적으로 언급하지는 않았지만, GrandCode의 구조적 특성상 몇 가지 한계점이 존재합니다. 첫째, 다중 에이전트 시스템이므로 단일 모델을 사용할 때보다 추론에 드는 비용과 시간이 매우 큽니다. 인간이 1시간 안에 푸는 문제를 풀기 위해 수십 분 혹은 그 이상의 컴퓨팅 자원이 소모될 수 있습니다. 둘째, 강화 학습(RL) 과정에서 코드를 실행시켜야 하므로 보안상의 이유로 제한된 샌드박스 환경이 필요하며, 이는 시스템의 확장성을 제약할 수 있습니다.

향후 연구 방향

향후 연구는 이러한 비용 효율성을 개선하는 방향으로 진행될 것입니다. 예를 들어, 더 적은 횟수의 추론으로도 동일한 성능을 낼 수 있도록 모델을 경량화하거나, 테스트 생성 과정을 최적화하여 불필요한 계산을 줄이는 연구가 필요합니다. 또한, 경쟁 프로그래밍뿐만 아니라 실제 산업 현장의 복잡한 소프트웨어 엔지니어링 문제를 해결하는 데 이 에이전틱 프레임워크를 어떻게 적용할지가 주요 과제가 될 것입니다.

5. 실무 적용 가능성

바로 적용 가능한 분야

• 자동 디버깅 및 최적화 도구: 소프트웨어 개발 과정에서 발생하는 버그를 자동으로 찾아내고 수정해 주는 고급 도구 개발에 즉시 활용할 수 있습니다.
• 알고리즘 트레이닝 플랫폼: 코딩 테스트를 준비하는 수험생들에게, 단순히 정답 코드만 보여주는 것이 아니라 문제 해결 과정을 단계별로 코칭해 주는 AI 튜터로 개발할 수 있습니다.
• 복잡한 시스템 검증: 금융 거래 시스템이나 보안 솔루션처럼 엣지 케이스(Edge Case) 처리가 중요한 분야에서, 다양한 공격 시나리오를 생성하여 시스템의 견고함을 테스트하는 용도로 사용할 수 있습니다.

필요한 리소스

• 컴퓨팅 파워: 대규모 언어 모델(LLM) 기반이므로 학습 시에는 수백 개의 고성능 GPU(예: H100 또는 A100 클러스터)가 필요하며, 추론 시에도 다중 에이전트를 동시에 돌려야 하므로 상당한 메모리와 연산 자원이 소요됩니다.
• 데이터: 고품질의 경쟁 프로그래밍 문제와 정답 데이터, 그리고 코드를 실행하고 검증할 수 있는 안전한 실행 환경(Sandbox) 데이터가 필수적입니다.

6. 이 논문을 이해하기 위한 사전 지식

1. 경쟁 프로그래밍(Competitive Programming): 알고리즘을 사용하여 주어진 문제를 제한 시간 내에 해결하는 지적 스포츠로, 코드포스(Codeforces) 같은 플랫폼에서 진행됩니다.
2. 강화 학습(Reinforcement Learning): 에이전트가 환경과 상호작용하며 보상을 최대화하는 행동을 학습하는 기계 학습의 한 분야입니다.
3. 오프-폴리시(Off-policy): 학습하는 정책과 행동을 선택하는 정책이 다른 상황을 의미하며, 데이터 샘플을 수집하는 시점과 학습하는 시점의 모델이 달라져 발생하는 문제입니다.
4. 에이전트(Agent): 환경을感知(Perceive)하고 행동을 취할 수 있는 자율적인 시스템이나 모델을 의미합니다.
5. LLM(대규모 언어 모델): 방대한 텍스트 데이터로 사전 훈련된 인공지능 모델로, 텍스트 생성 및 이해에 사용됩니다.
6. 그룹 상대 정책 최적화(Group Relative Policy Optimization, GRPO): 여러 후보군을 생성하여 그 그룹 간의 상대적인 순위를 통해 정책을 업데이트하는 강화 학습 알고리즘입니다.
7. 테스트 시간 적응(Test-time Adaptation): 실제 추론 단계에서 입력 데이터에 맞춰 모델이나 시스템을 동적으로 조정하거나 학습하는 과정을 말합니다.

---

📚 이번 주 관련 Deep Dive

순위	논문	Deep Dive
🥇	GrandCode: Achieving Grandmaster Le…	📍 현재 문서
🥈	Adam’s Law: Textual Frequency Law o…	DD-062
🥉	Video-MME-v2: Towards the Next Stag…	DD-063
4.	InCoder-32B-Thinking: Industrial Co…	DD-064
5.	SkillClaw: Let Skills Evolve Collec…	DD-065

---

📅 생성일: 2026-04-12 | 🤖 GLM-4.7 Deep Dive