Domino: Decoupling Causal Modeling from Autoregressive Drafting in Speculative Decoding

← 📚 이번 주 Weekly Digest로 돌아가기

DD-104 Domino: Decoupling Causal Modeling from Autoregressive Drafting in Speculative Decoding

arXiv: 2605.29707 기관: Shanghai Jiao Tong University Upvotes: 140 | Comments: 3 순위: 이번 주 Top 3

---

---

논문 분석: Domino: Decoupling Causal Modeling from Autoregressive Drafting in Speculative Decoding

1. 왜 이 논문이 중요한가?

기존의 추론 기법은 토큰을 빠르게 예측하려면 정확도가 떨어지고, 정확도를 높이려면 순차적인 처리 때문에 속도가 느려지는 딜레마가 있었습니다. 이 논문은 병렬 처리의 빠른 속도와 인과적 모델링의 정확함을 결합하여, 별도의 추가 비용 없이도 더 긴 토큰을 빠르게 생성하는 새로운 프레임워크인 Domino를 제시합니다. 이를 통해 대규모 언어 모델의 추론 속도를 획기적으로 높이면서도 생성 품질은 유지하는 길을 열었다는 점에서 큰 의의가 있습니다.

2. 핵심 아이디어 쉽게 이해하기

일상생활 비유: 소설 집필의 두 단계

이 논문의 핵심을 ‘소설을 쓰는 과정’에 비유해 보겠습니다. 일반적인 언어 모델은 작가가 한 문장을 쓰고, 그 다음 문장을 쓰는 식으로 앞의 내용을 보면서 하나하나 집필합니다. 이 방식은 정확하지만 시간이 아주 오래 걸립니다. 반면, 기존의 병렬 처리 방식은 초안 작성자에게 “여기 10문장을 한 번에 써봐”라고 시키는 것과 같습니다. 속도는 빠르지만, 앞뒤 문맥이 안 맞아 엉뚱한 이야기가 될 확률이 높습니다.

Domino는 이 둘을 결합한 ‘지능형 편집 팀’과 같습니다. 먼저 초안 작성자가 전체적인 줄거리를 휘갈겨 씁니다. 이후, 교정 담당자가 그 초안을 한 줄씩 읽어 내려가며, 바로 앞의 문장과 이어지도록 내용을 아주 살짝 수정합니다. 이렇게 하면 초안 작성자의 빠른 속도와 교정 담당자의 문맥 파악 능력을 동시에 활용하여, 빠르고 정확한 소설을 완성할 수 있습니다.

단계별 동작 원리

Domino는 크게 두 가지 부분으로 나뉩니다.

첫 번째는 병렬 기골격입니다. 이 부분은 입력된 문맥을 바탕으로 미래에 나올 토큰들을 순서에 상관없이 한꺼번에 예측합니다. 마치 여러 장의 그림을 동시에 그려놓는 것처럼 매우 빠르게 동작합니다. 하지만 이 과정에서는 토큰 간의 앞뒤 연결 고리, 즉 인과 관계가 무시될 수 있습니다.

두 번째는 도미노 헤드입니다. 이 가벼운 모듈은 병렬 기골격이 만든 초안 토큰들을 순차적으로 살펴봅니다. 바로 직전에 생성된 토큰을 참고하여, 현재 토큰의 확률 분포를 미세하게 조정합니다. 이를 통해 병렬 처리의 속도는 유지하면서도, 토큰 간의 자연스러운 흐름을 복원합니다.

핵심 알고리즘 및 수식

도미노의 핵심은 ‘보정(Correction)‘입니다. 병렬 기골격이 예측한 기본 로짓 값에, 도미노 헤드가 계산한 보정 값을 더하는 방식으로 최종 예측을 만듭니다.

수식으로 표현하면 다음과 같습니다. 최종 토큰의 예측 분포는 기본 로짓과 보정 로짓의 합으로 결정됩니다.

$$ l_i^{\text{final}} = l_i^{\text{base}} + c_i $$

여기서 $l_i^{\text{base}}$는 병렬 기골격이 빠르게 예측한 값이고, $c_i$는 이전 토큰들의 정보를 담아 도미노 헤드가 계산한 양념 값입니다. 이 두 값이 합쳐져 최종적으로 더 정확한 토큰이 샘플링됩니다.

3. 실험 결과 분석

벤치마크 및 환경

연구진은 수학적 추론 능력을 평가하는 GSM8K 데이터셋을 주요 벤치마크로 사용했습니다. 타겟 모델로는 Qwen3-8B를 활용하였으며, 추론은 NVIDIA A100 GPU(컨텍스트 길이 1024) 환경에서 수행되었습니다. 비교 대상으로는 기존의 병렬 기반 방식인 DFlash와 자기회귀 기반 방식인 EAGLE-3를 선정했습니다.

성능 향상 수치

실험 결과, 도미노는 기존 방식 대비 월등한 성능을 보였습니다. 특히 자기회귀 방식인 EAGLE-3에 비해 추론 지연 시간이 훨씬 짧으면서도, 병렬 방식인 DFlash보다 훨씬 긴 수용 길이를 기록했습니다. 즉, 타겟 모델이 한 번의 검증 과정에서 받아들이는 토큰의 수가 늘어났다는 뜻입니다. 종합적인 속도 향상 폭인 스피드업 수치에서도 도미노는 모든 비교군을 압도하며, Qwen3-8B 모델 기준으로 기존 자기회귀 디코딩 대비 압도적인 처리 속도 개선 효과를 입증했습니다.

주목할 만한 성과

가장 인상적인 점은 토큰 수락률과 추론 속도 사이의 트레이드오프를 해결했다는 것입니다. 일반적으로 수락률을 높이려면 모델 연산 비용이 늘어나는데, 도미노는 가벼운 헤드를 추가하는 것만으로 이 문제를 해결했습니다. 그림 1의 지연 시간 분석을 보면, 도미노의 도입으로 인한 추가 연산 비용은 미미한 반면, 검증 단계에서의 효율성은 크게 증가하여 전체적인 처리량이 개선되었음을 알 수 있습니다.

4. 한계점과 향후 연구 방향

저자가 언급한 한계

저자들은 도미노의 학습 과정이 단순하지 않다는 점을 인정하고 있습니다. 특히 교사 강요 기반의 인과적 인코딩을 안정시키기 위해 특별한 커리큘럼을 도입했는데, 이 학습 과정이 최적화되지 않으면 성능이 보장되지 않을 수 있습니다. 또한, 현재 구현은 특정 아키텍처(DFlash 등)에 의존적인 부분이 있어, 모든 모델 구조에 동일하게 적용하기 위해서는 추가적인 조정이 필요할 수 있습니다.

개선 가능한 점

향후 연구에서는 도미노 헤드의 구조를 더욱 경량화하거나, 다양한 종류의 타겟 모델 아키텍처에 일반화될 수 있는지 탐구할 필요가 있습니다. 또한, 현재는 텍스트 생성에 초점을 맞추고 있지만, 멀티모달(이미지-텍스트) 생성과 같은 더 복잡한 도메인으로 확장하여 그 효과를 검증하는 것도 흥미로운 방향이 될 것입니다.

5. 실무 적용 가능성

바로 적용 가능한 분야

이 기술은 LLM 서비스를 제공하는 모든 분야에 즉시 적용할 수 있습니다. 특히 챗봇, 코딩 도우미, 문서 작성 비서와 같이 실시간으로 빠른 응답 속도가 중요한 서비스에서 사용자 경험을 크게 향상시킬 수 있습니다. 긴 문맥을 처리해야 하는 RAG(검색 증강 생성) 시스템이나 긴 코드를 생성하는 프로그래밍 보조 도구에서도 그 진가를 발휘할 것입니다.

필요한 리소스

도미노를 적용하기 위해서는 타겟 모델 외에 별도의 작은 드래프트 모델(Backbone)과 도미노 헤드를 학습시켜야 합니다. 학습에는 상당한 양의 텍스트 데이터셋이 필요하며, GPU 리소스는 모델 크기에 따라 다르지만 일반적인 파인튜닝 환경과 유사한 수준입니다. 다만, 추론 시에는 추가적인 모델을 로드해야 하므로 메모리 사용량이 약간 증가할 수 있지만, 전체 추론 속도가 빨라지므로 전체적인 비용 효율은 높아질 것입니다.

6. 이 논문을 이해하기 위한 사전 지식

• Speculative Decoding (추정적 디코딩) 큰 모델이 토큰을 생성하기 전에 작은 모델이 미리 후보 토큰들을 만들어 제안하고, 큰 모델이 이를 한 번에 검증하여 속도를 높이는 기법입니다.

• Autoregressive Modeling (자기회귀 모델링) 이전에 생성된 토큰을 바탕으로 다음 토큰을 순차적으로 예측하는 방식으로, GPT 계열 모델이 사용하는 전통적인 생성 방식입니다.

• Causal Dependency (인과적 의존성) 토큰의 생성 순서가 중요하여, 뒤에 나오는 토큰은 앞에 나온 토큰의 영향을 받아야만 한다는 성질입니다.

• Parallel Drafting (병렬 드래프팅) 여러 토큰을 동시에 예측하여 생성 속도를 높이는 방식이지만, 토큰 간의 인과적 관계를 파악하기 어렵다는 단점이 있습니다.

• Logits (로짓) 모델이 출력하는 원본 점수 값으로, 이를 소프트맥스 함수에 통과시키면 각 토큰이 선택될 확률이 됩니다.

• Teacher Forcing (교사 강요) 모델이 학습할 때, 이전 단계에서 모델이 예측한 값을 입력으로 쓰지 않고, 정답인 값을 강제로 입력으로 사용하여 학습시키는 기법입니다.

• Latency (지연 시간) 사용자가 요청을 보내고 결과를 받기까지 걸리는 시간으로, 추론 속도를 나타내는 중요한 지표입니다.

---

📚 이번 주 관련 Deep Dive

순위	논문	Deep Dive
🥇	Crafter: A Multi-Agent Harness for …	DD-102
🥈	On the Scaling of PEFT: Towards Mil…	DD-103
🥉	Domino: Decoupling Causal Modeling …	📍 현재 문서
4.	COLLEAGUE.SKILL: Automated AI Skill…	DD-105
5.	GrepSeek: Training Search Agents fo…	DD-106

---

📅 생성일: 2026-06-07 | 🤖 GLM-4.7 Deep Dive