DelTA: Discriminative Token Credit Assignment for Reinforcement Learning from Verifiable Rewards

← 📚 이번 주 Weekly Digest로 돌아가기

DD-095 DelTA: Discriminative Token Credit Assignment for Reinforcement Learning from Verifiable Rewards

arXiv: 2605.21467 Upvotes: 189 | Comments: 1 순위: 이번 주 Top 4

---

DelTA: Discriminative Token Credit Assignment for Reinforcement Learning from Verifiable Rewards 논문 리뷰

1. 왜 이 논문이 중요한가?

기존의 검증 가능한 보상을 활용한 강화 학습(RLVR) 방식은 답변 전체에 하나의 점수만 부여하기 때문에, 정답을 이끌어낸 구체적인 단어(Token)가 무엇인지 식별하지 못하는 ‘입도 차이(Granularity Mismatch)’ 문제를 안고 있습니다. 이로 인해 모델은 중요한 추론 토큰보다는 단순히 자주 등장하는 형식이나 문법적 패턴에 과도하게 의존하려는 경향이 있었습니다. 이 논문은 정답과 오답의 그래디언트(Gradient) 분포를 비교하는 ‘분류기(Discriminator) 관점’을 도입하여, 진짜 성공을 이끈 토큰에만 집중하여 학습 효율을 획기적으로 높인 DelTA를 제안했습니다.

2. 핵심 아이디어 쉽게 이해하기

요리사 레시피 교정 비유

이 논문의 핵심을 요리사가 요리를 배우는 상황에 비유해 보겠습니다. 기존의 RLVR 방식은 완성된 요리를 맛보고 “맛있다” 또는 “맛없다”고 피드백만 줍니다. 요리사는 이 피드백을 듣고 자신이 한 모든 행동(재료 자르기, 불 조절, 소스 뿌리기)을 골고루 조금씩 수정하려 합니다. 하지만 사실 맛을 결정짓는 결정적인 차이는 ‘소스를 넣는 타이밍’ 한 가지일 수 있습니다. 기존 방식은 이 중요한 포인트를 수많은 사소한 행동들(예: 흰 apron을 입었다, 접시를 둥근 것을 썼다 등)에 묻혀버리게 만듭니다.

DelTA는 마음읽기 능력이 있는 멘토처럼 작동합니다. 멘토는 “맛있는 요리”와 “맛없는 요리”를 만든 요리사들의 행동 패턴을 분석합니다. 그리고 공통적으로 하는 행동(흰 apron 입기)은 제외하고, 맛있는 요리에서만 특별하게 일어난 행동(마지막 1초 전에 소스 넣기)을 정확히 찾아냅니다. 그 후 요리사에게 “그 외의 것은 그대로 하고, 이 타이밍만 꼭 기억해”라고 강조하여 알려줍니다. 이것이 바로 토큰 단위로 중요도를 가려내어 학습하는 DelTA의 방식입니다.

단계별 동작 원리

1. 그래디언트 수집하기: 모델이 여러 개의 답변을 생성하면, 정답(높은 보상)인 그룹과 오답(낮은 보상)인 그룹으로 나눕니다. 각 토큰이 확률을 어떻게 변화시켰는지에 대한 그래디언트 벡터를 모두 모읍니다.
2. 분류기 관점 적용하기: 정답 그룹의 토큰 그래디언트 평균(중심점)과 오답 그룹의 토큰 그래디언트 평균(중심점)을 계산합니다. 기존 방식은 이 두 중심점의 차이를 이용해 업데이트하지만, 잡음(형식 토큰 등)이 섞여 있습니다.
3. 변별적 토큰 식별하기: DelTA는 각 토큰의 그래디언트가 ‘정답 중심점’에 얼마나 가깝고 ‘오답 중심점’에 얼마나 먼지를 계산하여 토큰별 가중치(Coefficient)를 부여합니다. 즉, 진짜 정답의 원인이 되는 토큰은 가중치를 높이고, 단순히 자주 쓰이는 토큰은 가중치를 낮춥니다.
4. 재가중된 업데이트 수행하기: 계산된 가중치를 기존 강화 학습 목적함수에 반영하여, 모델이 진짜 중요한 토큰의 확률을 높이는 방향으로 파라미터를 업데이트합니다.

핵심 알고리즘 요약

논문의 핵심 수식은 정답 그룹(P)과 오답 그룹(N)의 토큰 그래디언트 집합을 이용해 토큰별 계수를 추정하는 것입니다. 기존 방식이 단순 평균을 사용했다면, DelTA는 두 집합의 대비(Contrast)를 통해 특정 토큰이 얼마나 ‘변별력(Discriminative)‘이 있는지를 수학적으로 계산하여 이를 학습에 반영합니다.

3. 실험 결과 분석

테스트 벤치마크

이 논문은 수학적 추론 능력을 평가하기 위해 가장 난이도가 높은 벤치마크들을 사용했습니다.

• AIME (American Invitational Mathematics Examination): 2024, 2025, 2026년 버전
• HMMT (Harvard–MIT Mathematics Tournament): 2025년 2월, 11월 및 2026년 2월 버전
• Brumo 25

성능 향상 수치

Qwen3-8B-Base 모델을 기준으로 기존 최첨단(SOTA) 방법들과 비교했을 때, DelTA는 모든 벤치마크에서 압도적인 성능을 보였습니다.

• AIME24: 기존 방법(DAPO)은 34.79였으나, DelTA는 43.13으로 약 8.34점 상승했습니다. 이는 매우 드문 수치의 향상입니다.
• 평균 성능(Avg.): DAPO는 22.95, DAPO w/ FT는 24.80, SAPO는 25.14인 반면, DelTA는 이들을 모두 뛰어넘는 성과를 기록했습니다(표상 수치 생략됨으나 상승세 명확).
• 일관성: 단일 벤치마크에서 운 좋게 점수가 오른 경우가 아니라, 7개의 테스트 셋 전체에서 일관되게 성능이 향상되었습니다.

주목할 만한 성과

특히 긴 추론(Long-reasoning)이 필요한 문제에서 평가 길이를 최대 30,000 토큰까지 설정하여 테스트했음에도 불구하고 성능이 유지되었다는 점은 중요합니다. 이는 DelTA가 불필요한 토큰 노이즈를 제거하고 핵심 추론 흐름을 잘 학습했음을 시사합니다.

4. 한계점과 향후 연구 방향

한계점

저자들은 명시적으로 언급하지는 않았으나, 일반적인 RLVR 방식의 공통된 한계와 DelTA의 특성을 고려할 때 다음과 같은 점들을 추측할 수 있습니다.

• 계산 비용: 토큰별로 그래디언트를 계산하고 비교하는 과정이 추가되므로, 단순한 RLVR 방식보다 메모리 사용량이나 연산량이 다소 높을 수 있습니다.
• 검증 가능한 보상 의존성: 논문의 제목처럼 ‘검증 가능한(Verifiable)’ 보상, 즉 수학 문제처럼 정답 여부를 기계적으로 확정 지을 수 있는 환경에 최적화되어 있습니다. 주관적인 글쓰기나 대화에는 적용하기 어려울 수 있습니다.

향후 연구 방향

• 검증 불가능한 보상(예: 인간 피드백) 환경으로의 확장
• 토큰 분석 과정에서 발생하는 추가적인 계산 오버헤드를 줄이는 효율화 기법 연구

5. 실무 적용 가능성

바로 적용 가능한 곳

• 수학 문제 풀이 AI: 코딩 테스트나 수학 경시 대회를 위한 AI 모델 학습에 즉시 활용할 수 있습니다.
• 코드 생성 모델: 코드가 실행되어 통과되는지 여부가 명확한 보상이 되는 상황에서, 코드의 핵심 로직에 해당하는 토큰을 정확히 학습하는 데 유용합니다.

필요한 리소스

• 모델: Large Language Model (예: Qwen, Llama 등 오픈 소스 모델)
• 하드웨어: 토큰 단위의 미분값을 저장하고 연산해야 하므로, 기존 RLHF(Reinforcement Learning from Human Feedback) 학습 환경보다 넉넉한 GPU 메모리(VRAM)가 필요할 수 있습니다. (예: A100 80GB 이상 권장)

6. 이 논문을 이해하기 위한 사전 지식

• Reinforcement Learning (강화 학습): 에이전트가 환경과 상호작용하며 보상을 최대화하는 정책(Policy)을 학습하는 머신러닝의 한 분야입니다.
• Policy Gradient (정책 경사): 신경망의 파라미터를 보상에 대한 미분값(그래디언트)을 따라 업데이트하는 강화 학습의 핵심 알고리즘입니다.
• Verifiable Rewards (검증 가능한 보상): 정답이 틀린지를 프로그램이나 수학적 증명을 통해 객관적으로 확인할 수 있는 보상 신호입니다.
• Large Language Models (대규모 언어 모델): GPT나 Llama처럼 방대한 텍스트 데이터로 학습된 거대한 인공지능 모델입니다.
• Token (토큰): 텍스트를 모델가 처리하는 최소 단위입니다. (예: 단어 또는 단어의 일부)
• Gradient (그래디언트): 손실 함수나 보상을 최적화하기 위해 각 파라미터를 어느 방향으로 얼마나 조절해야 할지를 나타내는 벡터입니다.
• Discriminator (분류기): 두 가지 이상의 범주(여기서는 좋은 답변과 나쁜 답변)를 구별하는 역할을 하는 모델이나 알고리즘입니다.

---

📚 이번 주 관련 Deep Dive

순위	논문	Deep Dive
🥇	CiteVQA: Benchmarking Evidence Attr…	DD-092
🥈	Code as Agent Harness	DD-093
🥉	Anti-Self-Distillation for Reasonin…	DD-094
4.	DelTA: Discriminative Token Credit …	📍 현재 문서
5.	TransitLM: A Large-Scale Dataset an…	DD-096

---

📅 생성일: 2026-05-24 | 🤖 GLM-4.7 Deep Dive