칼만 필터 기반 객체 추적 시스템

CPU 환경에서의 실시간 동작을 위한 딥러닝 기반 다중 객체 추적 시스템


요 약
최근 딥러닝 모델을 기반으로 한 객체 추적 알고리즘의 활용도가 증가하고 있다. 영상에서의 다중 객체의 추적을 위한 시스템은 대 표적으로 객체 검출 알고리즘과 객체 추적 알고리즘의 연쇄된 형태로 구성되어있다. 하지만 여러 모듈로 구성된 연쇄 형태의 시스템은 고성능 컴퓨팅 환경을 요구하며 실제 어플리케이션으로의 적용에 제한사항으로 존재한다. 본 논문에서는 위와 같은 객체 검출-추적의 연쇄 형태의 시스템에서 객체 검출 모듈의 연산 관련 프로세스를 조정하여 저성능 컴퓨팅 환경에서도 실시간 동작을 가능하게 하는 방법을 제안한다.

 

칼만 필터 기반 객체 추적 시스템

 

칼만 필터는 잡음이 포함된 선형 역학계의 상태를 추적 하는 재귀 필터로써 루돌프 칼만이 개발하였다.

칼만 필터 는 컴퓨터 비전, 로봇 공학 등의 여러 분야에서 사용되고 있으며, 시간에 따라 진행한 측정을 기반으로 한다. 따라서 해당 순간에만 측정한 결과만 사용한 것보다는 좀 더 정확 한 결과를 기대할 수 있다. 또한, 잡음까지 포함된 입력 데이터를 재귀적으로 처리하는 필터로써 현재 상태에 대한 최적의 통계적 예측을 진행할 수 있다. 칼만 필터는 선형 시스템을 기반으로 설계된 필터로써 정상상태 기준의 모델 을 수행하였으므로, 선형 시스템이라고 가정할 수 있다. 칼 만 필터의 알고리즘은 예측과 업데이트를 반복적으로 계산 하여 시스템 출력 값의 잡음 영향을 최소화하고 출력 값을 예측한다. 예측은 현재 상태의 예측을 말하고, 업데이트는 현재 상태에서 관측된 측정까지 포함한 값을 통해서 더 정 확한 예측을 할 수 있는 것을 말한다. 이러한 칼만 필터는 그림 2와 같이 동영상의 이전 프레임에서 객체 검출기를 통해 얻어진 객체의 위치 정보(경계 상자 좌표 x,y와 상자의 비율 a, 그리고 높이 h)를 통해 이후 프레임의 객체 위치 정보(x’,y’,a’,h’)를 예측한다. 확보한 예측 값은 이후 프레 임에서 새롭게 검출한 객체와의 연결에 적용된다. 할당 비 용 매트릭스는 각 검출과 기존 표적에서 예측된 모든 경계 상자 사이의 교차-분산(IOU)거리로 계산되고 헝가리안 알 고리즘[22]을 사용하여 최적으로 해결한다. 또한, 대상에 대 한 검출이 IOU min보다 작은 할당을 거부하기 위해 최소 IOU가 부과된다. 딥러닝 이전에는 추적 알고리즘에서 주로 활용되었고 최근에도 딥러닝과 함께 많이 사용되고 있다.

 

Ⅲ. 제안하는 기법

 

1. 딥러닝 기반 다중 객체 추적 시스템 개요

 

딥러닝 기반 다중 객체 추적 시스템은 기본적으로 CNN 기반의 네트워크를 사용하여 검출한 객체의 이미지 특징 정보를 추적 연결에 사용하는 방식이다[9]. 그림 3을 통해 볼 수 있듯이 전후 프레임의 이미지 경계상자를 CNN 기반 의 네트워크를 통해 특징정보를 추출하고 특징정보 비교기 를 통해 추적 연결에 사용하는 방식이다. 기존의 칼만 필터 기반의 다중 객체 추적 시스템에 비해 정확도가 향상되었 지만, 동작 속도가 느린 단점이 있다.

 

그림 3. 딥러닝 기반 다중 객체 추적 시스템 개요 Fig. 3. Deep Learning-based Multi-Object Tracking System Overview

 

 

최근 이러한 단점을 개선하고자 칼만 필터 방식과 딥러 닝 기반 객체 추적 시스템을 혼용한 추적 알고리즘이 연구 되었다(그림 4. 참조). 그림 4는 칼만 필터 방식과 딥러닝기반 객체 추적 시스템을 혼용한 DEEP SORT[9] 알고리즘 의 개요이며 이는 기존 칼만필터를 통한 추적 방식[11]에서 사용했던 IOU distance 알고리즘 대신 Mahalanobis distance 알고리즘을 적용하였고 이미지 특징 정보를 추출하 는 CNN 기반 네트워크는 Deep cosine metric 알고리즘[23] 을 적용하여 구현하였다. 본 논문에서는 이 알고리즘 구조 를 사용하여 실험하였고 동작 속도 측정 시 사용하는 객체 검출기는 사전 훈련된 YOLO-v3 모델[10]을 사용하였다.

 

 

출처 : http://www.kibme.org/resources/journal/20200414104021807.pdf