Active Stereo
전통적인 Stereo 방식은 triangulation을 통해 대응점 와 를 이용해서 3d 점 의 위치를 추정하는 것이다. 문제는 점 와 가 실제로 대응되는지를 어떻게 판단할 수 있느냐는 것이다.
Active Stereo는 stereo에서 대응점 문제를 완화하는데 도움을 준다. 이것의 주요 아이디어는 두 카메라 중 하나를 두 번째 카메라에서 쉽게 식별가능한 패턴(점, 선, stripe, 격자 등)을 객체에 projecting하는 projector로 교체하는 것이다.
이 새로운 projector-camera 쌍은 카메라 쌍에서와 동일한 epipolar geometry를 정의한다. 교체된 카메라의 이미지 평면은 projector virtual plane으로 교체된다. 아래 그림에서 projector는 virtual plane의 점 를 3d 공간의 객체에 project하여 3d 공간의 점 를 생성한다. 이 3d 점 는 2번째 카메라에서 점 로 관찰되어야 한다. 무엇을 projecting하는지 알기 때문에, 두 번째 카메라에서 대응하는 관측치 를 쉽게 발견할 수 있다.
active stereo에서는 단일 점 대신 아래 그림과 같은 vertical stripe 를 투영하는 것이 일반적이다. 여기서 선 가 3d 객체에 stripe 로 투영되고 카메라에서는 선 로 관찰된다. projector와 카메라가 평행하거나 rectified 면 horizontal epipolar 선과 의 교점을 찾아서 대응점을 쉽게 찾을 수 있다. 이 대응점을 이용하여 triangulation 방법으로 stripe 상의 모든 3d 점을 재구성할 수 있다. line을 장면 전체에 걸쳐 swiping하고 절차를 반복하면 장면 내의 모든 visible 객체의 전체 형상을 복구할 수 있다.
이 알고리즘이 작동하려면 projector와 카메라가 calibrated여야 한다. 이는 여러 방법을 사용할 수 있는데, 우선 calibration rig을 사용하여 카메라를 calibrate한 다음 알려진 stripes를 calibration rig에 투영하고 새로 calibrated 카메라에서 대응 관측치를 사용하여 projector에서 intrinsic과 extrinsic 파라미터를 추정하기 위한 제약 조건을 설정할 수 있다.
일단 calibrate 되면 active stereo 설정은 매우 정확한 결과를 생성할 수 있다. 2000년 Stanford에서 Marc Levoy와 그의 학생들은 laser scanner를 상요하여 sub-millimeter 정확도로 Michaelangelo의 Pieta의 형상을 복구했다.
그러나 정밀하게 조정된 projector는 매우 비싸고 번거롭다. 이에 대한 더 저렴한 대안은 그림자를 활용하여 객체에 대한 active pattern을 생성한다. 알려진 위치에 있는 광원과 객체 사이에 stick을 배치하여 stripe를 투영하고, stick을 움직여서 다른 그림자 stripe를 투영하는 것을 반복하여 객체를 복구한다. 이 방법은 저렴하지만 stick과 카메라와 광원 사이의 매우 정확한 calibration이 필요하고 stick의 그림자 길이와 thickness사이에 tradeoff가 필요하므로 덜 정확한 결과를 생성한다.
Volumetric Stereo
Volumetric Stereo는 전통적인 stereo와 active stereo 모두에 대한 대안이다. 이것은 대응점을 사용하여 3d 구조를 찾는 문제를 반전시켜서 추정하려는 3d 점이 알려진 volume 내에 있다고 가정한 다음 hypothesized 3d 점을 calibrated 카메라에 투영하고 이러한 투영이 여러 view에 걸쳐 일관된지 여부를 평가한다.
아래 그림은 volumetric stereo의 일반적인 설정에 해당한다. 이러한 기법은 재구성하려는 점들이 limited volume에 포함되어 있다고 가정하므로 제한 없는 장면을 복구하는 것과 달리 특정 객체의 3d 모델을 복구하는데 주로 사용된다.
Volumetric Stereo는 consistent 관측이라는 개념의 정의에 따라 Space Carving, Shadow Carving, Voxel Coloring이라는 방법으로 구분된다. 이에 대한 상세 내용은 Computer Vision/ 5. Active and Volumetric Stereo의 3.1, 3.2, 3.3 참조.
