CARLA-Air: Fly Drones Inside a CARLA World -- A Unified Infrastructure for Air-Ground Embodied Intelligence

← 📚 이번 주 Weekly Digest로 돌아가기

DD-056 CARLA-Air: Fly Drones Inside a CARLA World — A Unified Infrastructure for Air-Ground Embodied Intelligence

arXiv: 2603.28032 Upvotes: 330 | Comments: 4 순위: 이번 주 Top 1

---

1. 왜 이 논문이 중요한가?

기존의 시뮬레이션 환경은 자율주행 자동차를 위한 CARLA와 드론을 위한 AirSim이 서로 분리되어 있어, 차량과 드론이 협력하는 공지협동(Air-Ground Cooperation) 연구를 수행할 때 데이터 동기화 오류나 지연이 필연적으로 발생했습니다. 이 논문은 이 두 시스템을 하나의 언리얼 엔진 프로세스 내에서 완벽하게 통합하여, 별도의 연결 없이도 차량과 드론이 물리적으로 상호작용할 수 있는 단일한 환경을 제공함으로써 이러한 분절성을 해결했습니다. 이는 도심 항공 모빌리티나 드론 물류와 같이 지상과 공중이 결합된 복합적인 자율 시스템 연구의 발전에 중요한 기반이 됩니다.

2. 핵심 아이디어 쉽게 이해하기

일상생활 비유

이전까지 연구자들은 차량 시뮬레이터(CARLA)와 드론 시뮬레이터(AirSim)를 각각 다른 컴퓨터에서 켜두고 인터넷으로 연결해서 사용하는 것과 같은 상황이었습니다. 네트워크가 느려지면 한쪽 컴퓨터에서는 사고가 났는데 다른 쪽 컴퓨터에서는 아직 차가 달리고 있다고 생각하는 식의 ‘지연’이 발생하기 쉽습니다. CARLA-Air는 이 두 프로그램을 억지로 연결하는 대신, 하나의 아주 강력한 컴퓨터에서 두 프로그램을 하나로 합쳐서 실행하는 것과 같습니다. 이렇게 하면 차와 드론이 똑같은 시계를 보고 움직이고, 똑같은 화면을 바라보기 때문에 딜레이 없이 완벽하게 조화를 이룰 수 있습니다.

단계별 동작 방식

시스템이 시작되면 먼저 CARLA의 기능이 메모리에 로드되어 도시 환경, 도로, 신호등, 지상 차량 등을 준비합니다. 그 후에 AirSim의 비행 기능이 플러그인 형태로 위에 덧씌워지는데, 이때 기존 CARLA의 코드를 건드리지 않고 ‘게임 모드(GameMode)‘라는 규칙 설정을 상속받아 확장하는 방식을 사용합니다. 이렇게 통합된 시스템은 지상 차량은 CARLA의 물리 엔진을, 드론은 AirSim의 항공 역학 엔진을 각각 사용하면서도, 그래픽 렌더링과 시간 경과(틱)는 하나의 파이프라인을 공유하여 처리합니다. 사용자는 파이썬 코드로 각각의 서버에 요청을 보내지만, 내부적으로는 완벽하게 동기화된 하나의 세상에서 데이터를 가져오게 됩니다.

핵심 알고리즘 및 설계 원칙

이 논문의 핵심 기술적贡献은 언리얼 엔진의 ‘단일 게임 모드(Single GameMode)’ 제약을 우회한 설계에 있습니다. 보통 언리얼 엔진 게임은 하나의 규칙집(GameMode)만 가질 수 있는데, CARLA-Air는 CARLA의 지상 시뮬레이션 기능을 상속(Inheritance)받아 기본 바탕으로 삼고, 그 위에 AirSim의 비행 액터(Flight Actor)를 구성 요소로서 조합(Composition)합니다. 이 설계를 통해 CARLA의 소스 코드를 최소한으로 수정(단 2개의 파일)하면서도, 두 시스템의 API, 물리 엔진, 렌더링 파이프라인을 파괴하지 않고 보존할 수 있었습니다.

3. 실험 결과 분석

벤치마크 환경

연구진은 NVIDIA RTX A4000 GPU와 AMD Ryzen 7 5800X CPU를 탑재한 워크스테이션에서 Ubuntu 20.04 환경으로 성능을 측정했습니다. CARLA의 고해상도 맵인 Town10HD를 로드하고, 에픽(Epic) 품질 설정을 적용한 상태에서 지상 차량과 공중 드론이 동시에 운행하는 시나리오를 구성했습니다.

성능 비교 및 수치

기존의 브리지(Bridge) 기반 공동 시뮬레이션 방식은 프로세스 간 통신 오버헤드로 인해 시간적 일관성이 떨어지는 반면, CARLA-Air는 단일 프로세스 내에서 통신하여 이러한 지연을 근본적으로 제거했습니다. 실험 결과, 시뮬레이션을 구동하는 동안의 프레임 타임(Frame-time)이 안정적으로 유지되었으며, 특히 시스템 시작 시 발생하는 맵 로딩 및 셰이더 컴파일 같은 일시적인 부하(Warm-up)가 사라진 후에는 일정한 성능을 보여주었습니다. 구체적인 초당 프레임(FPS) 수치는 공개된 요약본에 명시되지 않았으나, 긴 시간 동안의 운영 테스트(Sustained Operation)에서 GPU 메모리(VRAM) 사용량이 안정적으로 유지되어 메모리 누수가 없음을 입증했습니다.

주목할 만한 성과

가장 중요한 성과는 물리적인 ‘틱(Tick)‘과 렌더링 파이프라인을 공유함으로써, 카메라 센서가 촬영하는 순간에 차량과 드론의 위치가 완벽하게 일치한다는 점입니다. 이는 드론이 지상 차량을 추적하거나 상호 인식하는 멀티모달(Multi-modal) 데이터를 수집할 때 필수적인 공간-시간적 일관성(Spatial-Temporal Consistency)을 보장합니다.

4. 한계점과 향후 연구 방향

저자가 언급한 한계

현재 CARLA-Air는 고정익 항공기보다는 멀티로터(Quadcopter) 드론에 초점을 맞추고 있으며, AirSim 원본 프로젝트의 개발이 중단(Archived)되었기 때문에 향후 CARLA가 업데이트될 때 발생할 수 있는 호환성 문제를 지속적으로 관리해야 한다는 과제가 있습니다. 또한, 두 물리 엔진을 하나의 프로세스에서 돌리기 때문에 연산량이 많은 시나리오에서는 하드웨어 부하가 상대적으로 높을 수 있습니다.

개선 가능한 점

향후 연구에서는 다양한 종류의 비행체(예: 고정익, VTOL)를 지원하는 모델을 확장하고, 지상과 공중 에이전트 간의 더 복잡한 상호작용을 위한 새로운 시나리오 벤치마크를 제안할 수 있습니다. 또한, 현재의 단일 프로세스 구조를 넘어서 더 대규모의 분산 시뮬레이션 환경으로 확장하는 방법에 대한 연구도 가능합니다.

5. 실무 적용 가능성

어디에 바로 적용 가능?

드론 택배가 지상 차량과 협력하여 물건을 배송하는 물류 시스템 시뮬레이션이나, 드론이 교통 정체 상황을 실시간으로 감시하고 지상 자율주행차에 정보를 제공하는 스마트 시티 관제 시스템 개발에 즉시 활용할 수 있습니다. 또한, 차량 위에 드론이 착륙하거나 이륙하는 모빌리티 기술을 테스트하는 데도 이상적인 환경을 제공합니다.

필요한 리소스

이 시뮬레이션을 구동하려면 언리얼 엔진을 원활히 돌릴 수 있는 최소 사양의 컴퓨터가 필요합니다. 학습용으로는 RTX 3060 정도의 GPU도 가능하지만, 여러 대의 차량과 드론을 동시에 돌리며 고화질 센서 데이터를 수집하려면 RTX 4070 이상의 그래픽 카드와 32GB 이상의 RAM을 갖춘 워크스테이션을 준비하는 것이 좋습니다.

6. 이 논문을 이해하기 위한 사전 지식

• Unreal Engine (언리얼 엔진): 에픽게임즈에서 만든 고성능 3D 게임 엔진으로, CARLA와 AirSim 모두 이 엔진을 기반으로 하여 사실적인 그래픽과 물리 환경을 제공합니다.
• CARLA: 자율주행 자동차 연구를 위해 특화된 오픈소스 시뮬레이터로, 도시 환경과 교통 흐름을 모사하는 데 강점이 있습니다.
• AirSim: 마이크로소프트가 개발한 오픈소스 시뮬레이터로, 드론과 자동차의 비행 및 주행 역학, 그리고 다양한 센서 데이터를 정밀하게 제공합니다.
• RPC (Remote Procedure Call): 사용자의 파이썬 코드와 시뮬레이터 엔진이 서로 통신하기 위해 사용하는 프로토콜로, 원격에 있는 함수를 호출하듯 명령을 내릴 수 있게 해줍니다.
• Physics Tick (물리 틱): 시뮬레이션 내에서 물리 법칙(중력, 충돌 등)이 계산되는 최소 시간 단위로, 이 틱이 얼마나 자주 발생하느냐에 따라 시뮬레이션의 부드러움과 정확도가 결정됩니다.
• Embodied AI (구현된 지능/몸이 있는 인공지능): 단순히 데이터만 처리하는 것이 아니라, 로봇이나 드론과 같은 물리적 몸을 통해 환경을 인지하고 행동하는 AI를 의미합니다.
• Co-simulation (공동 시뮬레이션): 서로 다른 두 개 이상의 시뮬레이터(예: 차량용, 드론용)를 네트워크로 연결하여 하나의 시스템처럼 동작하게 하는 기술입니다.

---

📚 이번 주 관련 Deep Dive

순위	논문	Deep Dive
🥇	CARLA-Air: Fly Drones Inside a CARL…	📍 현재 문서
🥈	FIPO: Eliciting Deep Reasoning with…	DD-057
🥉	ClawKeeper: Comprehensive Safety Pr…	DD-058
4.	ShotStream: Streaming Multi-Shot Vi…	DD-059
5.	DataFlex: A Unified Framework for D…	DD-060

---

📅 생성일: 2026-04-05 | 🤖 GLM-4.7 Deep Dive