[논문리뷰] "Are we ready for Autonomous Driving? The KITTI Vision Benchmark Suite" (2012)

"Are we ready for Autonomous Driving? The KITTI Vision Benchmark Suite" (2012) https://www.cvlibs.net/publications/Geiger2012CVPR.pdf

~ 목차 ~ 

1. Introduction
2. Challenges and Methodology
    2.1 Sensors and Data Acquisition
    2.2 Sensor Calibration
        2.2.1 Camera-to-Camera calibration
        2.2.2 Velodyne-to-Camera calibration
        2.2.3 GPS/IMU-to-Velodyne calibration
    2.3 Ground Truth
    2.4 Benchmark Selection
    2.5 Evaluation Metrics
3. Experimental Evaluation
    3.1 Stereo Matching
    3.2 Optical Flow Estimation
    3.3 Visual Odometry/SLAM
    3.4 3D Object Detection / Orientation Estimation
4. Conclusion and Future Work

 

1. Introduction

자율주행 시스템은 주로 GPS, 레이저 스캐너 등 비시각 센서에 의존하며, 시각 센서 활용은 부족하다.

기존 벤치마크(예: Caltech-101, Middlebury)는 통제된 환경에서 촬영되어 현실의 복잡성을 반영하지 못한다.

KITTI 데이터셋은 도시, 시골, 고속도로 등 다양한 환경에서 수집된 데이터를 포함하며, 정밀한 Ground Truth를 제공한다.

스테레오 매칭 및 광학 흐름 벤치마크는 1240×376 해상도의 389쌍 이미지와 반정밀 Ground Truth를 포함한다.

3D 비주얼 오도메트리/SLAM 데이터셋은 39.2km 주행 데이터를 포함한 22개의 스테레오 시퀀스로 구성된다.

3D 객체 검출 벤치마크는 차량, 보행자 등의 3D 경계 상자를 제공하며, 정확한 라벨링을 지원한다.

기존 데이터셋에서 우수했던 알고리즘도 KITTI 벤치마크에서는 성능 저하를 보였다.

MATLAB/C++ 개발 키트와 온라인 평가 서버를 통해 데이터셋 활용을 지원한다.

KITTI 데이터셋은 현실적인 데이터를 기반으로 자율주행 연구를 위한 벤치마크를 제공한다.

 

2. Challenges and Methodology

대규모 현실적인 평가 벤치마크 생성에는 실시간으로 대량의 데이터를 수집하는 것이 도전 과제다.

서로 다른 속도로 작동하는 다양한 센서를 정밀하게 캘리브레이션하는 것이 필요하다.

최소한의 감독으로 Ground Truth를 생성하는 방법이 요구된다.

각 벤치마크에 적합한 시퀀스와 프레임을 선택해야 한다.

각 과제에 대한 적절한 평가 지표를 개발해야 한다.

이러한 도전 과제들을 해결하기 위한 방법론을 논문에서 논의한다.

 

2.1 Sensors and Data Acquisition

장비는 일반적인 스테이션 왜건 차량에 장착되었다.

카메라 시스템: 두 대의 컬러와 두 대의 그레이스케일 PointGrey Flea2 비디오 카메라(10Hz, 1392×512 해상도, 90°×35° 시야각)를 사용하였다.

3D 레이저 스캐너: Velodyne HDL-64E 3D 레이저 스캐너(10Hz, 64개 레이저 빔, 100m 범위)를 사용하였다.

위치 추적: GPS/IMU 로컬라이제이션 장치와 RTK 보정 신호를 통해 실외 오차를 5cm 미만으로 유지하였다.

실시간 데이터 처리: 강력한 컴퓨터와 실시간 데이터베이스를 사용하였다.

카메라 배치:

차량의 상단에 좌우로 하나씩 배치, 동일 카메라 간 54cm, 컬러와 그레이스케일 카메라 간 6cm 간격을 유지.

컬러 이미지는 분할과 객체 탐지에 유용하며, 그레이스케일 이미지는 대비와 감도가 높아 스테레오 매칭과 광학 흐름 추정에 적합하다.

3D 레이저 스캐너 활용:

Velodyne HDL-64E는 이동 플랫폼에서도 정확한 3D 정보를 제공할 수 있는 몇 안 되는 센서이다.

Microsoft Kinect 같은 구조광 시스템은 야외에서 작동하지 않고, 감지 범위가 제한적이다.

이동 보상: GPS/IMU 시스템의 위치 정보를 사용해 3D 레이저 측정에서의 이동 보정을 수행하였다.

 

2.2 Sensor Calibration

센서 캘리브레이션의 중요성: 신뢰할 수 있는 Ground Truth를 얻기 위해 정확한 센서 캘리브레이션이 필수적이다.

캘리브레이션 절차:

카메라 캘리브레이션: 네 대의 비디오 카메라를 내부 및 외부적으로 캘리브레이션하고 입력 이미지를 보정한다.

3D 강체 변환 파라미터 추정: 레이저 스캐너, 로컬라이제이션 장치, 기준 카메라 간의 좌표계를 정렬한다.

자동/수동 혼합 접근법: 카메라 간 캘리브레이션과 GPS/IMU-to-Velodyne 정렬은 완전 자동으로 수행되며, Velodyne-to-Camera 정렬은 사용자가 소수의 대응점을 수동으로 선택해야 한다.

 

2.2.1 Camera-to-Camera calibration

차고 벽에 체커보드 패턴을 부착하여 캘리브레이션 이미지를 촬영.

코너 감지 후, 평균 재투영 오류를 최소화하여 내부 및 외부 파라미터 최적화.

 

2.2.2 Velodyne-to-Camera calibration

레이저 반사값의 노이즈로 인해 대응점 설정이 어렵기 때문에 반자동 기술 사용.

자동 방법으로 초기 정렬 수행 후, 레이저 포인트 클라우드와 이미지 간 수동으로 선택한 소수의 대응점을 기반으로 최적화.

Metropolis-Hastings 샘플링을 통해 에너지가 가장 낮은 솔루션 선택.

 

2.2.3 GPS/IMU-to-Velodyne calibration

완전 자동으로 수행되며, 움직임 추정 데이터를 기반으로 로봇 공학에서 잘 알려진 Hand-Eye 캘리브레이션 문제를 해결.

주차 시퀀스의 레이저 포인트 클라우드를 정렬하여 다양한 방향과 번역을 확보한 후 최적화 수행.

시퀀스에서 임의로 1000개의 자세 쌍을 샘플링해 최종 결과를 얻음.

 

2.3 Ground Truth

Ground Truth 생성 준비: 모든 센서를 캘리브레이션 및 정렬한 후, 벤치마크별 Ground Truth를 생성.

스테레오 및 광학 흐름:

관심 프레임 전후로 5개의 연속 프레임을 ICP로 정렬해 포인트 클라우드 생성.

생성된 포인트 클라우드를 이미지에 투영 후, 이미지 외부와 애매한 영역(창문, 울타리 등)을 제거.

카메라 캘리브레이션을 이용해 시차 지도(disparity map) 계산 및 다음 프레임으로의 3D 포인트 투영을 통해 광학 흐름 생성.

비폐색(non-occluded) 픽셀과 모든 Ground Truth 픽셀을 별도로 평가.

레이저 스캐너의 한계로 인해 동일 이미지 내 객체에 의해 가려진 점은 자동 추정이 어려워 평균 50%의 Ground Truth 밀도를 유지.

비주얼 오도메트리/SLAM:

GPS/IMU 로컬라이제이션 유닛의 출력을 왼쪽 카메라 좌표계로 투영해 Ground Truth 생성.

3D 객체:

자동차, 밴, 트럭, 트램, 보행자, 자전거 등 객체에 3D 바운딩 박스를 할당하기 위해 어노테이터를 고용.

레이저 포인트와 카메라 이미지를 표시하는 전용 라벨링 도구를 사용해 어노테이션 품질 향상.

바운딩 박스를 "보임(visible)", "부분적으로 가려짐(semi-occluded)", "완전히 가려짐(fully occluded)", "잘림(truncated)"으로

류.

라벨링 통계는 Fig. 2에 표시.

기존 벤치마크와 차별성:

온라인 크라우드소싱 대신 전문 어노테이터와 전용 도구를 사용해 라벨링 품질을 높임.

 

2.4 Benchmark Selection

데이터 수집 및 선정: 약 3TB의 데이터를 수집하고 대표적인 하위 집합을 선택, 고품질 그레이스케일 이미지를 사용.

스테레오 및 광학 흐름:

정적인 환경의 시퀀스에서 대표 장면을 선정.

**k-means 클러스터링(k=400)**으로 장면 다양성 극대화.

이미지를 12×4 블록으로 나누고 평균 시차 및 광학 흐름 변위를 계산해 144차원 디스크립터 생성.

조명이 나쁜 장면 제거 후 194개의 훈련 이미지와 195개의 테스트 이미지 확보.

비주얼 오도메트리/SLAM:

다양한 속도의 고품질 로컬라이제이션 데이터를 포함한 긴 시퀀스를 선택.

41,000 프레임(10fps), 39.2km 주행 데이터와 루프 클로저 포함.

3D 객체 검출 및 방향 추정:

비폐색 객체 수와 객체 방향 엔트로피를 기준으로 장면 선정.

탐욕 알고리즘으로 데이터셋을 초기화하고, 비폐색 객체 수와 엔트로피를 기준으로 이미지를 추가.

동일 시퀀스 이미지는 훈련과 테스트 세트에 중복되지 않도록 함.

 

2.5 Evaluation Metrics

 

스테레오 및 광학 흐름:

시차와 엔드포인트 오류를 평균 오류 픽셀 수로 평가하며, 이미지 다운샘플링 없이 τ=3 pxτ=3px을 기본 임계값으로 사용.

비폐색 픽셀과 모든 Ground Truth 픽셀에 대해 오류를 보고.

비주얼 오도메트리/SLAM:

종단점 오류 대신 모든 상대적 관계의 평균 오류를 고정 거리에서 계산.

회전 오류와 변환 오류를 분리하고 궤적 길이와 속도에 따른 오류를 분석.

$E_{\text{rot}}(F) = \frac{1}{|F|} \sum_{(i,j) \in F} \angle \left[ (\hat{p}_j \ominus \hat{p}_i) \ominus (p_j \ominus p_i) \right]$

$E_{\text{trans}}(F) = \frac{1}{|F|} \sum_{(i,j) \in F} \| (\hat{p}_j \ominus \hat{p}_i) \ominus (p_j \ominus p_i) \|_2$

3D 객체 검출 및 방향 추정:

2D 객체 검출: 평균 정밀도(AP)를 기준으로 평가하며, 50% 이상의 중첩만 True Positive로 간주.

3D 방향 추정: 평균 방향 유사도(AOS)를 사용하여 추정 방향과 Ground Truth 방향의 코사인 유사도로 평가.

$\text{AOS} = \frac{1}{11} \sum_{r \in \{0, 0.1, \dots, 1\}} \max_{\tilde{r} : \tilde{r} \geq r} s(\tilde{r})$

방향 유사도 s(r)s(r): 방향 차이에 따른 코사인 유사도.

$s(r) = \frac{1}{|D(r)|} \sum_{i \in D(r)} \frac{1 + \cos \Delta\theta_i}{2} \delta_i$

분류 및 회귀:

자동차의 방향을 16개 방향(분류) 또는 연속적 방향(회귀)으로 평가, 방향 유사도로 성능 측정.

 

 

3. Experimental Evaluation

대표 알고리즘 평가: 각 작업에서 최신 알고리즘의 성능을 테스트.

발견: 기존 벤치마크에서 우수한 알고리즘이 현실적인 시나리오에서는 성능 저하.

목적: 현실적 데이터셋이 알고리즘에 미치는 영향 분석.

 

3.1 Stereo Matching

평가 대상 알고리즘: 글로벌, 세미글로벌, 로컬, 시드 확장 방식 테스트. 각 설정값은 KITTI 웹사이트에서 확인 가능.

실험 결과: KITTI의 오류율이 Middlebury보다 높아 현실 데이터 난이도가 더 큼. Middlebury에서 성능이 우수한 알고리즘도 KITTI에서는 성능 저하.

데이터셋 차이: Middlebury는 잘 텍스처링된 환경으로 객체 경계 정확성에 유리하며, KITTI는 텍스처가 적은 영역에서 전역적 판단이 필요해 로컬 알고리즘이 자주 실패.

PCBP 성능 분석: 자연 환경에서는 오류가 적지만, 도시 시나리오에서 이미지 포화, 시차 그림자, 비람버시안 표면(반사) 등이 주요 오류 원인.

 

3.2 Optical Flow Estimation

평가 대상 알고리즘: 변분 방법과 로컬 방법 테스트.

결과 요약: 변분 방법이 가장 우수했으나, TGV2CENSUS도 평균 11% 오류율 기록.

주요 오류 원인: 큰 이동 변위 영역에서 오류 발생, 텍스처 부족으로 고해상도 광학 흐름 추정 어려움.

속도와 오류 관계: 작은 이동에서는 성능 우수, 고속 주행 시 큰 변위에서 성능 저하.

개선 방향: 현실 세계 사전 지식을 활용한 모델 필요, 대규모 학습 데이터로 접근 방식 강화 전망.

 

3.3 Visual Odometry/SLAM

평가 대상: VISO2-S/M [21], [1]의 방법(LBA 포함/미포함), Flow Separation 접근법[25], 모두 루프 클로저 정보 미사용.

결과 요약:

VISO2-S가 평균 2.2% 번역 오류, 0.016 deg/m 회전 오류로 가장 정확.

고속 주행(최대 프레임당 2.8m 이동)에서 번역 오류 증가, 특히 3D 구조가 부족한 고속도로에서 두드러짐.

저속에서는 증분 방식이 시간 경과에 따라 드리프트 발생.

개선 방향:

루프 클로저 감지, 번들 조정 개선, 학습 데이터 활용을 통해 성능 향상 가능.

실험에서는 Ground Truth 정보를 사용하지 않고 평가 진행.

 

3.4 3D Object Detection / Orientation Estimation

평가 내용: 객체 검출과 방향 추정을 평균 정밀도(AP)와 평균 방향 유사도(AOS)로 평가, 12,000개의 이미지와 40,000개의 객체 사용.

학습 방법: 세 가지 설정(Variable, Fixed Init, Fixed)으로 객체 검출기를 학습, 방향 클래스 16개로 초기화 후 구성요소와 잠재 변수 고정 여부에 따라 다름.

객체 검출 평가: 비폐색(≤ 20%) 및 높이 ≥ 40px인 객체 평가, 바운딩 박스 교차율 50% 이상만 True Positive로 간주. 검출기 설정 간 성능 차이는 미미하며, 높은 정밀도와 제한된 재현율 확인.

방향 추정 평가: 16 방향 클래스를 기반으로 HOG 특징을 사용해 SVM(분류)과 Gaussian Process Regression(회귀)이 각각 최적 성능 기록.

향후 계획: 반폐색, 잘림 객체 및 추가 객체 클래스(밴, 트럭, 보행자 등)로 온라인 평가 확장 예정.

 

 

4. Conclusion and Future Work

결론: 제안한 벤치마크가 기존 데이터셋의 과적합 문제를 줄이고, 실제 환경에서 잘 작동하는 알고리즘 개발에 기여하기를 기대.

기록된 데이터는 벤치마크에 포함된 것보다 더 많은 정보를 제공하며, 점진적으로 난이도를 높일 계획.

미래 작업: 루프 클로저를 포함한 시각 SLAM, 객체 추적, 분할, 구조로부터의 운동(Structure-from-Motion), 3D 장면 이해 등을 평가 프레임워크에 추가할 예정.