On the Scaling of PEFT: Towards Million Personal Models of Trillion Parameters

← 📚 이번 주 Weekly Digest로 돌아가기

DD-103 On the Scaling of PEFT: Towards Million Personal Models of Trillion Parameters

arXiv: 2606.02437 기관: Mind Lab Upvotes: 175 | Comments: 4 순위: 이번 주 Top 2

---

논문 리뷰: On the Scaling of PEFT: Towards Million Personal Models of Trillion Parameters

1. 왜 이 논문이 중요한가?

기존의 파라미터 효율적 파인 튜닝(PEFT) 연구들은 주로 거대 모델을 전체 재학습하는 대신 비용을 아끼기 위한 ‘저렴한 대안’에만 집중했습니다. 이 논문은 PEFT를 단순한 비용 절감 도구가 아니라, 하나의 거대 기반 모델 위에서 수백만 개의 개인화된 모델을 운영할 수 있는 ‘지속적인 상태 관리 체계’로 재정의했습니다. 이를 통해 사용자별 맞춤형 AI 서비스를 압도적으로 적은 리소스로 대규모 확장할 수 있는 길을 열었습니다.

2. 핵심 아이디어 쉽게 이해하기

일상생활 비유: 스마트폰 운영체제와 개인 데이터

이 논문의 핵심 개념은 스마트폰의 구조와 매우 흡사합니다. 거대 기반 모델(Foundation Model)은 모든 사람이 똑같이 사용하는 아이폰이나 안드로이드 같은 ‘운영체제(OS)‘라고 생각하면 됩니다. OS는 전화 걸기, 인터넷 검색 등 기본적인 능력을 공통적으로 제공합니다.

여기에 어댑터(Adapter)는 내 스마트폰에 저장된 ‘개인 설정’이나 ‘메모장’입니다. OS는 바꾸지 않은 채, 내가 좋아하는 앱만 따로 설치하거나 화면 밝기를 조정하는 것처럼, AI 모델 본체는 건드리지 않고 사용자의 성향이나 기억에 해당하는 아주 작은 덩어리(어댑터)만 따로 붙이는 것입니다. 이렇게 하면 수억 명의 사용자가 각자 자신만의 어댑터를 가지고, 마치 자신만의 AI를 가진 것처럼 사용할 수 있습니다.

단계별 동작 원리

1. 공유 기반 모델 준비: 수조 개의 파라미터를 가진 거대 AI 모델을 하나 마련하고 이를 얼립니다(Freeze). 이 모델은 세상의 일반적인 지식을 담고 있습니다.
2. 어댑터 생성: 사용자별로 필요한 행동 양식, 선호도, 도구 사용 습관 등을 학습할 아주 작은 신경망 계층(Adapters)을 만듭니다.
3. 지역적 업데이트: 거대 모델 전체를 학습시키는 것이 아니라, 이 작은 어댑터만 사용자의 데이터로 학습시킵니다.
4. 지속적 관리: 학습된 어댑터는 사용자의 영구적인 상태로 저장되어, 모델이 호출될 때마다 기본 모델 위에 얹혀져 개인화된 답변을 생성합니다.

핵심 알고리즘 및 수식

이 논문은 복잡한 새로운 수식을 제안하기보다는, 기존 PEFT 방식의 확장성을 체계적으로 분석합니다. 기본적인 아이디어는 다음과 같이 표현할 수 있습니다.

$$ W_{final} = W_{base} + \Delta W_{user} $$

여기서 $W_{base}$는 수정되지 않는 거대 기반 모델의 가중치이며, $\Delta W_{user}$는 특정 사용자나 인스턴스를 위해 학습된 아주 작은 어댑터 가중치입니다. 논문은 이 $\Delta W$를 얼마나 작게 줄일 수 있는지(Scale Down), 기반 모델이 커질 때 효과가 어떻게 변하는지(Scale Up), 그리고 이러한 어댑터 수백만 개를 어떻게 효율적으로 관리하는지(Scale Out)를 탐구합니다.

3. 실험 결과 분석

이 논문은 특정 벤치마크 점수 하나를 올리는 것보다, 시스템 전체의 확장 가능성을 입증하는 데 중점을 두었습니다.

• 확장 축(Scale Axes)에 따른 분석: 저자들은 Scale Up(기반 모델 성능 향상 시 어댑터의 효용성 증가), Scale Down(어댑터 크기 최소화에 따른 신뢰성 유지), Scale Out(다수의 어댑터 공존)의 세 가지 축을 설정하여 실험했습니다.
• 기존 방식 대비 효율성: 기존의 Full Fine-tuning(전체 파인 튜닝) 방식은 모델 전체를 복사해야 했기 때문에 사용자 100명당 모델 100개가 필요했습니다. 반면 이 논문의 접근 방식은 기본 모델 1개와 아주 작은 어댑터 파일들만 있으면 되므로, 저장 공간과 메모리 사용량에서 획기적인 개선을 보여주었습니다.
• MinT 인프라 데모: 수백만 개의 어댑터 식별, 버전 관리, 출처 추적(Provenance), 평가, 서빙을 관리할 수 있는 MinT라는 인프라 예시를 제시하며, 실제로 이러한 개인 모델들을 대규모로 운영할 수 있음을 증명했습니다.

4. 한계점과 향후 연구 방향

• 관리의 복잡성: 저자들은 모델 학습 자체의 비용 문제가 해결되면서, 이제는 수많은 어댑터의 ‘식별’, ‘버전 관리’, ‘평가’와 같은 소프트웨어적 관리 문제가 새로운 병목이 될 수 있음을 지적했습니다.
• 어댑터 간 간섭: 수많은 어댑터가 공존할 때, 혹은 기반 모델이 업데이트될 때 기존 어댑터들의 성능이 저하되거나 충돌하는 문제(Catastrophic Forgetting의 변형)에 대한 지속적인 연구가 필요합니다.
• 최소 크기 탐구: Scale Down 관점에서 어댑터를 어디까지 작게 줄여도 여전히 신뢰할 수 있는 성능을 내는지에 대한 이론적, 실무적 한계를 더 파고들어야 합니다.

5. 실무 적용 가능성

• 적용 분야: 모든 사용자에게 완벽히 개인화된 비서 서비스, 기업 내 직원별 맞춤형 문서 작성 도구, 게이머의 스타일을 학습하는 NPC(비플레이어 캐릭터) 등에 즉시 적용할 수 있습니다.
• 필요한 리소스:
  • 학습 단계: 거대 기반 모델을 호스팅할 강력한 GPU 서버가 1대(또는 소수) 필요하며, 어댑터 학습 자체는 가벼우므로 일반적인 소비자용 GPU나 심지어 CPU로도 충분히 가능할 수 있습니다.
  • 서빙 단계: 추론 시 기반 모델과 사용자의 어댑터를 로드해야 하므로, 빠른 저장 장치(SSD)와 효율적인 모델 서빙 프레임워크(예: vLLM, TensorRT-LLM)가 필수적입니다.

6. 이 논문을 이해하기 위한 사전 지식

• 파인 튜닝(Fine-tuning): 사전 학습된 모델을 특정 작업에 맞춰 추가로 학습시키는 과정.
• 파라미터 효율적 파인 튜닝(PEFT): 모델의 일부 파라미터만 학습시켜 전체 학습과 유사한 효과를 내는 기법.
• 어댑터(Adapter): 신경망 모델 중간에 삽입하는 작은 추가 계층으로, 새로운 기능을 학습하기 위해 수정하는 대상.
• 거대 언어 모델(LLM): 수십억 개 이상의 파라미터를 가진 대규모 언어 모델.
• 추론(Inference): 학습이 완료된 모델을 사용하여 실제로 결과를 예측하거나 생성하는 과정.
• 프롬프트 엔지니어링(Prompt Engineering): 모델이 원하는 결과를 내도록 입력 문장을 최적화하는 기술.
• 모델 서빙(Model Serving): 학습된 모델을 실제 서비스 환경에 배포하여 사용자의 요청에 실시간으로 응답할 수 있게 만드는 인프라 구축 작업.

---

📚 이번 주 관련 Deep Dive

순위	논문	Deep Dive
🥇	Crafter: A Multi-Agent Harness for …	DD-102
🥈	On the Scaling of PEFT: Towards Mil…	📍 현재 문서
🥉	Domino: Decoupling Causal Modeling …	DD-104
4.	COLLEAGUE.SKILL: Automated AI Skill…	DD-105
5.	GrepSeek: Training Search Agents fo…	DD-106

---

📅 생성일: 2026-06-07 | 🤖 GLM-4.7 Deep Dive