Feature Tracking
Feature Tracking은 이미지 시퀀스에 대해 모든 이미지에 걸쳐 2d 점의 집합의 위치를 추적하는 것을 말한다. 아래 그림 참조. 이것은 depth 추정과 유사하게 이미지 시퀀스 전체에 걸쳐 대응 문제를 해결하는 것으로 볼 수 있다.
feature tracking의 도전은 프레임 간에 효율적으로 추적할 수 있는 feature point를 식별하는 것이다. 카메라가 움직임(feature는 완벽하게 사라질 수 있음), 그림자, 차폐 때문에 이미지 feature의 외관이 프레임에 걸쳐 드라마틱하게 변경될 수 있다. feature tracking을 위한 외관 모델이 업데이트 되면서, 작은 에러가 누적되어 drift가 발생할 수 있다.
목표는 쉽고 일관되게 추적할 수 있는 distinct region(feature 또는 때때로 keypoint라 불림)을 식별한 다음, 간단한 추적 방법을 적용하여 이러한 대응점을 지속적으로 찾는 것이다.
전통적으로 추적하기 쉬운 이미지 내의 distinct feature는 hand-designed 방법을 사용하여 검출되고 추적되었다. 구체적으로 이러한 좋은 feature는 다른 이미지의 feature와 빠르게 매칭할 수 있도록 이미지에서 검출된 특징점을 설명하는 descriptor라 불리는 것으로 인코딩된다. 이러한 방법은 또한 희소하여, 이미지에서 일부 픽셀에 대해서만 descriptor를 생성한다.
아래 그림에서 는 픽셀 의 -차원 표현을 제공한다(종종 이웃 정보를 통합함). 가 동일한 3d 점에 해당하므로, 이들이 시각적으로 유사할 것이라고 기대하며, 따라서 서로 다른 viewpoint에서 포착되었더라도 그들의 descriptor는 동일해야 한다. 즉, 이어야 한다. 그 다음 descriptor 사이의 유사성에 기반하여 서로 다른 프레임의 픽셀을 매칭할 수 있다.
학습된 모델을 이용하여 feature tracking을 수행하는 내용은 Computer Vision/ 8. Monocular Depth Estimation and Feature Tracking 의 5 참조.
