Search
Duplicate

AI/ Motion field

Motion field

Motion field는 관찰자의 이미지 평면에 대한 장면 내 점들의 3d motion vector를 설명하는 2d vector field를 나타낸다. Motion field는 3d 세계의 움직임을 2d로 나타내는 것이므로, 2d 이미지 시퀀스 사이의 픽셀 이동을 측정하는 optical flow와는 차이가 있다.
아래 그림은 간단한 2d의 경우에 motion field의 예이다. 여기서 2d 객체 점 Po\bold{P}_o는 관찰자 OO가 보는 이미지 평면의 1d 점 Pi\bold{P}_i로 투영된다. 객체 점 Po\bold{P}_o가 Vo⋅dt\bold{V}_o \cdot dt(motion vector라 부른다)만큼 이동하면, 해당하는 투영된 1d 점은 Vi⋅dt\bold{V}_i \cdot dt 만큼 움직인다. 여기서 1d motion field는 이미지 평면에 위치한 모든 ii에 대한 모든 속도 값 Vi\bold{V}_i로 구성된다.
motion field서 translation vector TT, rotation vector RR, 깊이 정보 Z(⋅)Z(\cdot)에 대해 이미지 평면에서의 픽셀 이동 벡터 u\bold{u}는 다음과 같이 표현된다.
u=T−Z(x)⋅(R×x)\bold{u} = T - Z(\bold{x}) \cdot (R \times \bold{x})
이것은 다음과 같은 형식으로도 표현할 수 있다.
(uv)=(dxdtdydt)=Mx′\begin{pmatrix} u \\ v \end{pmatrix} = \begin{pmatrix} {dx \over dt} \\ {dy \over dt} \end{pmatrix} = \bold{Mx}'
여기서 x′=[dxdt,dydt,dzdt]⊤\bold{x}' = [{dx \over dt}, {dy \over dt}, {dz \over dt}]^\top는 3d 점의 motion을 나타내고 M∈R2×3\bold{M} \in \mathbb{R}^{2 \times 3}은 3d 점 위치 관점에 대한 픽셀 displacement(변위)의 편도함수를 포함한다.
motion field는 이미지 평면에 투영된 3d motion의 이상적인 2d representation이다. 이것은 직접적으로 관찰할 수 없는 ‘ground truth’이고, 우리는 video와 같은 noisy 관찰에서만 optical flow(apparent motion)을 추정할 수 있다
motion field는 실제 3d 세계의 움직임을 반영하지만, optical flow는 2d 픽셀 사이의 차이에 대한 것임에 유의하라. 따라서 고정된 조명 소스를 갖고 균일하게 회전하는 구에 대해 픽셀 차이가 없으므로 zero optical flow지만 움직임이 존재하므로 non-zero motion field를 갖는다. 반면 고정된 구에 조명이 그 주위를 움직이는 경우 픽셀 차이가 존재하므로 non-zero optical flow이지만 움직임이 없으므로 zero motion field이다.

참고

Made with