LocateAnything: Fast and High-Quality Vision-Language Grounding with Parallel Box Decoding

← 📚 이번 주 Weekly Digest로 돌아가기

DD-100 LocateAnything: Fast and High-Quality Vision-Language Grounding with Parallel Box Decoding

arXiv: 2605.27365 기관: NVIDIA Upvotes: 127 | Comments: 4 순위: 이번 주 Top 4

---

LocateAnything: Fast and High-Quality Vision-Language Grounding with Parallel Box Decoding

1. 왜 이 논문이 중요한가?

기존의 비전-언어 모델(Vision-Language Models)들은 물체의 위치를 찾을 때 좌표를 토큰 하나하나 순차적으로 생성해야 했습니다. 이는 마치 문장을 필기하는 것처럼 느리고, 좌표 값 간의 연관성을 제대로 반영하지 못하는 구조적인 한계가 있었습니다. 이 논문은 좌표를 하나의 덩어리(Block)로 묶어서 병렬적으로 해석하는 병렬 박스 디코딩(Parallel Box Decoding) 방식을 제안합니다. 이를 통해 기존 방식보다 최대 2.5배 빠른 속도와 더 높은 정확도를 동시에 달성하여, 실시간 로봇 공학이나 대화형 에이전트 등 실제 산업 현장에 VLM을 적용하는 길을 열었다는 점에서 매우 중요합니다.

2. 핵심 아이디어 쉽게 이해하기

일상생활 비유

친구에게 “책상 위에 있는 사과”의 위치를 알려주는 상황을 상상해 보세요. 기존의 방식(Sequential Decoding)은 마치 좌표를 “가로 100, 세로 200, 너비 50, 높이 50”이라고 숫자를 하나씩 천천히 받아 적는 것과 같습니다. 이 방식은 숫자를 적는 속도가 느리고, 앞의 숫자를 잘못 적으면 뒤의 숫자도 다 엉망이 될 가능성이 큽니다.

반면, 이 논문에서 제안하는 방식(Parallel Box Decoding)은 미리 준비된 ‘사과 위치 스티커’를 동시에 찍어내는 것과 같습니다. 좌표의 각 숫자를 따로따로 생성하는 게 아니라, 박스(Box)라는 하나의 완성된 단위(Atomic Unit)를 통째로 예측합니다. 이렇게 하면 숫자 간의 연결성이 유지되고, 스티커를 한 번에 찍어내듯 처리할 수 있어 훨씬 빠르고 정확합니다.

단계별 동작 과정

1. 이미지와 텍스트 입력: 모델은 이미지를 보고(Moon-ViT 인코더 사용), 사용자가 입력한 텍스트(“빨간 자동차 찾아줘”)를 이해합니다.
2. 비전 토큰 추출: 이미지를 원본 해상도 그대로 분석하여 공간적인 디테일이 살아있는 비전 토큰들로 변환합니다.
3. 블록 기반 예측 (Block-Based Prediction): 기존처럼 토큰을 하나씩 생성하는 대신, 바운딩 박스(Bounding Box) 정보를 담은 일정 길이(L=6)의 ‘블록’을 한 단위로 예측합니다.
4. 병렬 디코딩: 이 블록 내부의 좌표 정보들은 서로 긴밀하게 연결되어 있으므로, 모델은 이를 독립된 여러 토큰이 아닌 하나의 묶음으로 처리하여 병렬적으로 추론합니다.

핵심 수식과 알고리즘

기존의 다음 토큰 예측(Next Token Prediction, NTP) 방식은 토큰 $t$가 이전 토큰들에 의존하여 순차적으로 생성되지만, LocateAnything은 ‘블록’ $B$를 기본 단위로 사용합니다.

모델은 이미지 정보 $Z$와 텍스트 쿼리 $\mathcal{E}$를 바탕으로 전체 박스 블록 시퀀스 $\mathbf{B} = (b_1, b_2, \dots, b_N)$의 결합 확률을 추구합니다.

$$P(\mathbf{B} \mid \mathcal{Z}, \mathcal{E}) = \prod_{i=1}^{N} P(b_i \mid b_{<i}, Z, \mathcal{E})$$

여기서 각 블록 $b_i$는 <box> 시작 토큰, 좌표 값들, 그리고 </box> 종료 토큰을 포함하는 원자적 단위입니다. 이 수식의 핵심은 $b_i$ 내부의 좌표 토큰들을 개별적으로 생성하는 게 아니라, 블록 단위로 한 번에 학습하고 추론함으로써 기하학적 응집성을 유지한다는 점입니다.

3. 실험 결과 분석

벤치마크 및 성능

연구진은 객체 탐지의 표준 데이터셋인 COCO와 긴 꼬리 분포(Long-tailed)를 가진 LVIS 데이터셋에서 성능을 측정했습니다.

• 정확도: LocateAnything은 Grounding DINO와 같은 강력한 오픈셋 탐지기(Open-set Detector)들을 제치고 최고 수준(SOTA)의 정확도(F1 Score)를 기록했습니다. 특히 LVIS 데이터셋에서 희귀 클래스(Rare Class)에 대한 탐지 성능이 크게 향상되었습니다.
• 속도 (Throughput): BPS(Boxes Per Second, 초당 생성 가능한 박스 수) 지표에서 기존 경쟁 방식 대비 최대 2.5배 빠른 처리 속도를 보여주었습니다. 이는 병렬 디코딩이 실제로 얼마나 많은 추론 시간을 단축시키는지를 증명합니다.
• 데이터 효과: 1억 3,800만 개(138M)의 방대한 훈련 데이터(LocateAnything-Data)를 사용하여, 적은 양의 데이터로 훈련된 모델보다 훨씬 더 높은 정밀도와 일반화 성능을 보였습니다.

주목할 만한 성과

이 모델은 단순히 정지된 이미지에서만 잘하는 것이 아닙니다. 실시간으로 움직이는 환경이나 수많은 객체가 뭉쳐 있는 밀집된 상황(Dense Detection)에서도 유연하게 대처할 수 있도록 훈련되었습니다. 이는 실제 로봇이 자율 주행을 하거나 복잡한 UI 화면을 제어해야 하는 상황에서 매우 중요한 특성입니다.

4. 한계점과 향후 연구 방향

저자가 언급한 한계

현재 모델은 주로 지도 학습(Supervised Fine-Tuning)에 의존하여 학습되었습니다. 즉, 사람이 정답을 모두 달아준 데이터를 통해 학습했기 때문에, 정답이 없는 새로운 상황에서 스스로 좌표를 예측하는 정책을 최적화하는 데에는 한계가 있을 수 있습니다.

향후 연구 방향 및 개선점

저자들은 이 문제를 해결하기 위해 강화 학습(Reinforcement Learning) 도입을 제안합니다. 좌표 예측에 대한 보상 시스템을 도입하면, 모델이 스스로 더 정확한 위치를 찾아가는 정책을 학습할 수 있을 것입니다. 또한, 현재는 블록 디코딩이 실패했을 때 다시 시도하는(Fallback) 빈도를 줄이고, 더 효과적인 탐색(Exploration) 전략을 연구하여 추론의 견고함(Robustness)을 높이는 것이 필요합니다.

5. 실무 적용 가능성

바로 적용 가능한 분야

• 실시간 로봇 및 자율 주행: 로봇이 “저기 있는 물건을 집어줘”라는 지시를 받았을 때, 느리지 않고 즉각적으로 위치를 파악해 물체를 집어 올릴 수 있습니다.
• 자동화 UI 테스팅 및 에이전트: 컴퓨터 화면의 UI 요소(버튼, 입력창 등)를 매우 빠르게 인식하여 마우스를 제어하는 RPA(로봇 프로세스 자동화)나 자동화 테스팅 도구에 즉시 활용할 수 있습니다.
• 대화형 비디오 검색: 긴 비디오 영상에서 사용자가 묻는 특정 장면이나 객체를 실시간으로 빠르게 찾아내는 서비스를 만들 수 있습니다.

필요한 리소스

• 추론(Inference) 환경: 병렬 디코딩 덕분에 기존 VLM보다는 적은 연산량으로 동작하지만, 여전히 고해상도 이미지를 처리하는 Moon-ViT 인코더와 Qwen2.5 언어 모델을 돌려야 하므로 A100이나 H100과 같은 고성능 GPU가 필요합니다.
• 데이터: 학습을 위해서는 1억 3,800만 개의 거대한 데이터셋이 필요하지만, 이미 훈련된 모델을 사용한다면 별도의 데이터 수집 없이 바로 활용 가능합니다.

6. 이 논문을 이해하기 위한 사전 지식

• 비전-언어 모델 (Vision-Language Model, VLM): 이미지와 텍스트를 동시에 이해하고 처리할 수 있는 인공지능 모델로, GPT-4o나 CLIP 등이 여기에 속합니다.
• 비전 그라운딩 (Visual Grounding): 텍스트로 설명된 대상이 이미지 내에서 어디에 위치하는지 찾아내는 작업입니다.
• 다음 토큰 예측 (Next Token Prediction, NTP): ChatGPT와 같은 언어 모델이 다음에 올 단어를 맞추는 방식으로, 문장을 순차적으로 생성하는 표준적인 방법입니다.
• 바운딩 박스 (Bounding Box): 이미지 속 객체의 위치를 나타내기 위해 그리는 사각형 테두리 상자입니다.
• 지도 학습 (Supervised Fine-Tuning, SFT): 모델이 정답이 라벨링된 데이터를 사용하여 특정 작업을 수행하도록 미세 조정하는 학습 방식입니다.
• 병렬 처리 (Parallelism): 여러 작업을 동시에 실행하여 속도를 높이는 컴퓨팅 기법입니다.
• IoU (Intersection over Union): 모델이 예측한 박스와 실제 정답 박스가 얼마나 겹치는지를 나타내는 지표(0~1 사이의 값)로, 객체 탐지 성능을 평가할 때 씁니다.

---

📚 이번 주 관련 Deep Dive

순위	논문	Deep Dive
🥇	Gamma-World: Generative Multi-Agent…	DD-097
🥈	SkillOpt: Executive Strategy for Se…	DD-098
🥉	DVAO: Dynamic Variance-adaptive Adv…	DD-099
4.	LocateAnything: Fast and High-Quali…	📍 현재 문서
5.	AgentDoG 1.5: A Lightweight and Sca…	DD-101

---

📅 생성일: 2026-05-31 | 🤖 GLM-4.7 Deep Dive