Adam's Law: Textual Frequency Law on Large Language Models

← 📚 이번 주 Weekly Digest로 돌아가기

DD-062 Adam’s Law: Textual Frequency Law on Large Language Models

arXiv: 2604.02176 기관: FaceMind Upvotes: 411 | Comments: 6 순위: 이번 주 Top 1

---

논문 리뷰: Adam’s Law: Textual Frequency Law on Large Language Models

1. 왜 이 논문이 중요한가?

기존의 연구들은 주로 데이터의 ‘양’이나 ‘질’에 집중했으며, 학습 데이터나 프롬프트가 특정 표현으로 얼마나 자주 등장하는지에 대한 ‘빈도’의 영향은 간과되었습니다. 이 논문은 대규모 언어 모델(LLM)이 더 흔하고 빈번한 텍스트 표현일수록 더 잘 학습하고 수행한다는 ‘텍스트 빈도 법칙(TFL)‘을 처음으로 제안하며 이를 입증했습니다. 이를 통해 프롬프트 엔지니어링과 데이터 선별 과정에서 빈도를 최적화하면 모델의 성능을 획기적으로 높일 수 있는 새로운 지평을 열었습니다.

2. 핵심 아이디어 쉽게 이해하기

이 논문의 핵심은 “모델이 더 자주 접해본 표현일수록 더 잘 이해하고 답한다”는 아주 직관적인 원리를 공식화한 것입니다. LLM을 마치 도서관에 있는 모든 책을 독파한 거대한 지식인으로 상상해 보세요. 이 지식인에게 시험 문제를 낼 때, 교과서에 수만 번 등장했던 “아주 흔한 표현”으로 묻는다면 그는 자신 있게 답할 것입니다. 하지만 아주 오래된 문헌에서나 나오는 “희귀하고 생소한 표현”으로 똑같은 질문을 하면 당황하여 잘못된 답을 할 수도 있습니다. 이 논문은 우리가 모델에게 질문하거나 가르칠 때, 모델이 가장 친숙하게 느끼는 ‘흔한 표현’을 사용하도록 바꾸자는 것입니다.

이 시스템은 크게 세 단계로 동작합니다. 첫째, **텍스트 빈도 법칙(TFL)**을 적용하여 질문을 여러 방식(의역)으로 바꾼 뒤, 인터넷 검색 등을 통해 그중 가장 흔하게 쓰이는 표현을 골라냅니다. 둘째, 텍스트 빈도 증류(TFD) 과정을 통해 모델에게 흔한 문장들을 주고 이야기를 이어서 쓰게 함으로써, 모델이 흔한 패턴을 더 잘 학습하도록 풍부한 데이터를 생성합니다. 셋째, **커리큘럼 텍스트 빈도 파인튜닝(CTFT)**을 통해 모델을 학습시킬 때 가장 빈도가 높은 데이터부터 시작해서 점차 덜 흔한 데이터로 학습 순서를 배치하여 효율을 극대화합니다.

핵심 수식은 다음과 같습니다. 같은 의미를 가진 문장들의 집합 $\mathcal{P}$ 중에서, 말뭉치 $\mathcal{D}$에서 문장 단위 빈도 $\mathrm{sfreq}$가 가장 높은 문장 $\mathbf{x}$를 선택하는 것입니다.

$$ \mathrm{argmax}_{\mathbf{x}\in\mathcal{P}}(\mathrm{sfreq}(\mathbf{x},\mathcal{D})) $$

즉, “무엇이 올바른 표현인가?”보다 “무엇이 가장 흔한 표현인가?”를 선택 기준으로 삼는 것이 이 논문의 알고리즘 핵심입니다.

3. 실험 결과 분석

연구진은 수학적 추론(Math Reasoning) 과제와 100개 언어를 포함한 기계 번역(Machine Translation) 과제에서 광범위한 실험을 수행했습니다. 번역 성능 평가를 위해 정확도(Accuracy) 외에도 chrF, BLEU, 그리고 최신 신경망 기반 평가 지표인 COMET 점수를 사용했습니다.

실험 결과, 흔한 표현으로 프롬프트를 수정했을 때 GPT-4o-mini와 DeepSeek-V3 같은 최신 모델들의 성능이 기존 프롬프트 대비 유의미하게 향상되었습니다. 특히 오픈 소스 모델인 Qwen2.5-7b-instruct를 파인튜닝할 때, 흔한 데이터부터 학습하는 이 논문의 방식(CTFT)이 일반적인 학습 방식이나 난이도 순서에 따른 전통적인 커리큘럼 학습보다 더 높은 정확도와 COMET 점수를 기록했습니다. 이는 데이터의 양보다 데이터의 ‘빈도 분포’가 학습 효율을 결정하는 데 중요한 역할을 함을 수치로 입증한 결과입니다.

4. 한계점과 향후 연구 방향

저자들은 이 방법론을 적용하기 위해 문장의 빈도를 추정해야 하는데, 이를 위해서는 방대한 언어 corpus나 온라인 검색 엔진에 대한 접근이 필요하므로 추가적인 비용과 리소스가 든다는 점을 한계로 꼽았습니다. 또한, 너무 흔한 표현만 고집하다 보니 아주 정교하거나 창의적인 뉘앙스, 혹은 전문적인 분야의 희귀 용어가 필요한 상황에서는 성능이 떨어질 수 있는 가능성도 시사했습니다.

향후 연구로는 빈도 추정 속도를 높이고 계산 비용을 줄이는 더 효율적인 알고리즘 개발이 필요합니다. 또한, 흔한 표현과 희귀하지만 중요한 표현 사이의 균형을 맞추는 전략을 연구하여 다양한 도메인으로 일반화하는 과제가 남아 있습니다.

5. 실무 적용 가능성

이 연구는 실무에서 즉시 활용할 수 있는 임팩트가 큽니다. 첫째, RAG(검색 증강 생성) 시스템이나 챗봇 서비스에서 사용자의 질문을 바로 처리하는 대신, 모델이 더 잘 이해할 수 있는 흔한 표현으로 자동 의역(Paraphrasing)하여 답변의 정확도를 높이는 프롬프트 전처리 단계에 적용할 수 있습니다. 둘째, 기계 번역 서비스에서 입력된 문장을 빈도가 높은 표준어로 정제한 뒤 번역하면 훨씬 자연스러운 번역 결과를 얻을 수 있습니다.

이를 구현하기 위해서는 문장 빈도를 계산할 수 있는 대규모 텍스트 데이터베이스나 검색 API가 필요합니다. 모델을 직접 파인튜닝할 경우에는 LoRA와 같은 효율적인 튜닝 기법을 사용할 수 있는 GPU 클러스터 환경이 요구됩니다.

6. 이 논문을 이해하기 위한 사전 지식

• Large Language Model (LLM): 방대한 텍스트 데이터로 사전 학습되어 텍스트를 이해하고 생성하는 인공지능 모델입니다.
• Fine-tuning: 사전 학습된 모델을 특정 작업이나 데이터에 맞춰 추가로 학습시켜 성능을 최적화하는 과정입니다.
• Paraphrasing: 문장의 의미를 유지하면서 단어나 구조를 바꾸어 다르게 표현하는 기법입니다.
• Curriculum Learning: 인간이 학습하듯 모델에게 쉬운 예제부터 점차 어려운 예제 순서로 데이터를 제공하는 학습 전략입니다.
• Likelihood: 확률 모델에서 관측된 데이터가 발생할 가능성을 나타내는 척도로, 언어 모델은 다음 단어가 나올 가능도를 최대화하도록 학습합니다.
• BLEU/COMET: 기계 번역 등의 결과가 사람이 번역한 참조 문장과 얼마나 유사한지를 측정하는 자동 평가 지표들입니다.
• LoRA (Low-Rank Adaptation): 모델의 전체 파라미터를 수정하지 않고 적은 수의 파라미터만 추가하여 효율적으로 모델을 튜닝하는 기법입니다.

---

📚 이번 주 관련 Deep Dive

순위	논문	Deep Dive
🥇	Adam’s Law: Textual Frequency Law o…	📍 현재 문서
🥈	GrandCode: Achieving Grandmaster Le…	DD-061
🥉	Rethinking Generalization in Reason…	DD-066
4.	InCoder-32B-Thinking: Industrial Co…	DD-064
5.	Video-MME-v2: Towards the Next Stag…	DD-063

---

📅 생성일: 2026-04-12 | 🤖 GLM-4.7 Deep Dive