DD-062 Adam’s Law: Textual Frequency Law on Large Language Models

arXiv: 2604.02176 기관: FaceMind Upvotes: 309 | Comments: 6 순위: 이번 주 Top 2

논문 리뷰: Adam’s Law: Textual Frequency Law on Large Language Models

1. 왜 이 논문이 중요한가?

기존의 대규모 언어 모델 연구는 주로 데이터의 양이나 질(Quality)에 집중했지만, 텍스트 표현의 빈도(Frequency)가 모델 성능에 미치는 영향은 간과되었습니다. 이 논문은 사람이 읽을 때 흔한 단어를 더 빨리 인식하듯이, 언어 모델 또한 빈번하게 등장하는 텍스트 패턴을 더 잘 학습하고 추론한다는 텍스트 주파수 법칙(Textual Frequency Law)을 제안합니다. 사용자의 입력을 더 흔한 표현으로 바꿔주는 단순하면서도 강력한 프레임워크를 통해, 폐쇄형 모델의 학습 데이터를 알 수 없는 상황에서도 성능을 획기적으로 높이는 해결책을 제시합니다.

2. 핵심 아이디어 쉽게 이해하기

일상생활 비유: 도서관의 책장

이 논문의 핵심 아이디어는 거대 도서관에서 책을 찾는 도서관원과 같습니다. 만약 당신이 “그 위성 궤도 역학을 지배하는 미분 방정식의 해를 구하라”라고 매우 어렵고 드문 문장으로 요청하면, 도서관원은 잠시 멈칫하며 어디서 찾아야 할지 고민할 것입니다. 하지만 “인공위성이 궤도를 도는 원리를 계산해줘”라고 우리가 일상에서 흔히 쓰는 말로 바꿔서 요청하면, 도서관원은 즉시 가장 가까운 책장에서 관련 책을 꺼내줄 것입니다. 이 논문은 바로 이 ‘흔하게 쓰이는 표현’을 찾아내어 모델에게 전달해주는 것이 성능 향상의 열쇠임을 밝혀냈습니다.

단계별 동작 과정

이 논문의 프레임워크는 크게 세 가지 단계로 구성됩니다. 첫째, 텍스트 주파수 법칙(TFL)을 통해 모델이 학습할 때나 프롬프트를 입력받을 때 더 빈번하게 등장하는 문장을 선호하도록 만듭니다. 둘째, 실제로 모델이 어떤 데이터를 학습했는지 알 수 없기 때문에, 온라인 검색 엔진이나 대규모 말뭉치를 이용해 문장의 등장 빈도를 추정합니다. 셋째, 입력된 문장을 더 흔한 표현으로 바꿔주는 바꿔 말하기(Input Paraphraser)를 사용하여, 모델이 이해하기 가장 쉬운 형태로 질문을 변형합니다.

핵심 알고리즘

가장 중요한 수식은 의미는 같지만 표현이 다른 문장 집합 중에서 빈도가 가장 높은 문장을 선택하는 것입니다. 수식으로 표현하면 argmax_(x in P) (sfreq(x, D))와 같습니다. 여기서 P는 같은 의미를 가진 바꿔 말하기 문장들이고, sfreq는 말뭉치 D에서의 문장 빈도를 측정하는 함수입니다. 즉, 같은 의미라도 더 많이 쓰인 표현을 골라서 모델에 입력하면 모델의 추론 능력이 올라간다는 것이 핵심 메커니즘입니다.

3. 실험 결과 분석

벤치마크 및 설정

연구진은 수학적 추론(Mathematical Reasoning)과 기계 번역(Machine Translation) 작업을 통해 이 법칙을 검증했습니다. 수학 추론에서는 정확도(Accuracy)를, 번역에서는 chrF, BLEU, 그리고 최신 신경망 기반 평가 지표인 COMET 점수를 사용했습니다. 검증을 위해 GPT-4o-mini, DeepSeek-V3, Qwen2.5-7B-Instruct, Llama-3.3-70B-Instruct 등 다양한 개방형 및 폐쇄형 최신 모델을 베이스라인으로 사용했습니다.

성능 향상 수치

구체적인 수치는 논문의 테이블에 자세히 나타나 있으나, 요약본에 제시된 설정에 따르면 고빈도 데이터를 사용하여 파인 튜닝(Fine-tuning)했을 때 기존의 쉬운 것에서 어려운 순서로 학습하는 전통적인 커리큘럼 러닝(Easy-to-Hard) 방식보다 더 우수한 성능을 보였습니다. 특히 번역 작업에서 COMET 점수가 향상되었으며, 입력 문장을 고빈도 표현으로 바꾸어 프롬프트했을 때 모델의 정답률이 유의미하게 상승하는 것을 확인했습니다.

주목할 만한 성과

이 연구의 가장 흥미로운 점은 모델의 파라미터를 크게 변경하지 않고도, 입력 데이터의 표현 빈도만 조정하여 성능을 끌어올렸다는 것입니다. 저자들은 거대 모델일수록 희귀 단어나 희귀 표현을 더 잘 예측한다는 기존 스케일링 법칙과 대조적으로, 학습이나 추론 시에는 흔한 표현이 더 유리하다는 것을 입증했습니다. 이는 데이터 선별의 새로운 기준을 제시한 중요한 발견입니다.

4. 한계점과 향후 연구 방향

저자가 언급한 한계

가장 큰 한계는 대부분의 최신 언어 모델이 학습 데이터를 공개하지 않는다는 점입니다. 따라서 이 논문에서 제안하는 방법은 온라인 리소스를 통해 문장 빈도를 추정해야 하므로, 실제 학습 데이터와의 차이가 발생할 수 있습니다. 즉, 인터넷에서 흔한 문장이 모델 학습 데이터에도 많이 포함되어 있다는 가정하에 작동합니다.

개선 가능성

향후 연구에서는 모델의 학습 데이터에 대한 의존도를 줄이고, 문장 빈도를 더 정교하게 추정할 수 있는 방법이 필요합니다. 또한 텍스트뿐만 아니라 이미지나 오디오 등 다른 모달리티에서도 유사한 빈도 법칙이 성립하는지 탐구할 수 있습니다. 마지막으로 고빈도 데이터에서 저빈도 데이터로 넘어가는 구체적인 커리큘럼 전략(Curriculum Textual Frequency Fine-Tuning)을 더 세분화하여 연구할 필요가 있습니다.

5. 실무 적용 가능성

바로 적용 가능한 분야

이 기술은 RAG(검색 증강 생성) 시스템이나 고객 응대 챗봇 개발에 즉시 적용할 수 있습니다. 사용자가 던진 질문이 아무리 생소하고 어색한 표현이라도, 시스템 내부에서 이를 흔히 쓰는 표현으로 정제하여 모델에 전달한다면 답변의 품질을 높일 수 있기 때문입니다. 또한, 자체 파인 튜닝을 진행하는 기업이라면 학습 데이터를 빈도 순으로 정렬하여 학습 효율을 높일 수 있습니다.

필요한 리소스

이 방법을 적용하기 위해 거대한 연산 능력이 필요한 것은 아닙니다. 하지만 입력 문장의 빈도를 확인하기 위해 대규모 말뭉치나 검색 엔진 API에 접근할 수 있는 환경이 필요합니다. 입력을 바꿔 말하기(Paraphrasing)하는 과정에서 추가적인 추론 비용이 발생하지만, 이는 전체 시스템의 성능 향상을 고려할 때 충분히 투자할 만한 가치가 있는 리소스입니다.

6. 이 논문을 이해하기 위한 사전 지식

LLM (Large Language Model): 방대한 텍스트 데이터로 학습하여 사람처럼 텍스트를 이해하고 생성하는 인공지능 모델입니다.
Fine-tuning (파인 튜닝): 이미 학습된 거대 모델을 특정 작업이나 데이터에 맞춰 추가로 학습시키는 과정입니다.
Paraphrasing (바꿔 말하기): 원문의 의미는 유지하면서 단어나 문장 구조를 달리하여 다시 표현하는 기법입니다.
Curriculum Learning (커리큘럼 러닝): 인간이 학습하듯이 모델에게 쉬운 예제부터 점차 어려운 예제를 순서대로 학습시키는 전략입니다.
BLEU / COMET: 기계 번역의 성능을 평가하는 지표로, 생성된 문장과 실제 정답 문장의 유사도를 측정합니다.
LoRA (Low-Rank Adaptation): 모델의 전체 파라미터를 재학습시키지 않고 일부 적은 파라미터만 학습시켜 효율적으로 파인 튜닝하는 기법입니다.
Zero-shot / Few-shot Learning: 모델이 추가 학습 없이(Zero-shot) 혹은 몇 개의 예시만 보고(Few-shot) 문제를 해결하는 능력을 말합니다.

📚 이번 주 관련 Deep Dive

순위	논문	Deep Dive
🥇	GrandCode: Achieving Grandmaster Le…	DD-061
🥈	Adam’s Law: Textual Frequency Law o…	📍 현재 문서
🥉	Video-MME-v2: Towards the Next Stag…	DD-063
4.	InCoder-32B-Thinking: Industrial Co…	DD-064
5.	SkillClaw: Let Skills Evolve Collec…	DD-065

📅 생성일: 2026-04-12 | 🤖 GLM-4.7 Deep Dive

Quartz 4

탐색기

Adam's Law: Textual Frequency Law on Large Language Models