Search
Duplicate

AI/ Linear Dynamical System(LDS)

Linear Dynamical System(LDS)

Linear Dynamical System(LDS)은 State-Space Model(SSM)의 한 종류로 전이 행렬과 관찰 행렬이 선형이고, 프로세스 노이즈와 관찰 노이즈가 가우시안인 경우 Linear Dynamical System(LDS)라고 부른다. 이에 대한 모델은 다음과 같이 정의된다.
p(zt∣zt−1,ut)=N(zt∣Ftzt−1+Btut+bt,Qt)p(yt∣zt,ut)=N(yt∣Htzt+Dtut+dt,Rt)\begin{aligned} p(\bold{z}_t|\bold{z}_{t-1},\bold{u}_t) &= \mathcal{N}(\bold{z}_t|\bold{F}_t\bold{z}_{t-1} + \bold{B}_t\bold{u}_t + \bold{b}_t, \bold{Q}_t) \\ p(\bold{y}_t|\bold{z}_t,\bold{u}_t) &= \mathcal{N}(\bold{y}_t|\bold{H}_t\bold{z}_t + \bold{D}_t \bold{u}_t + \bold{d}_t, \bold{R}_t) \end{aligned}
여기서 zt∈RNz\bold{z}_t \in \mathbb{R}^{N_z}는 은닉 상태이고 ut∈RNu\bold{u}_t \in \mathbb{R}^{N_u}는 optional 관측된 입력이고, yt∈RNy\bold{y}_t \in \mathbb{R}^{N_y}는 관찰된 출력이고, Ft\bold{F}_t는 상태 전이 행렬이고, Qt\bold{Q}_t는 프로세스 노이즈 공분산 행렬이고, Ht\bold{H}_t는 관찰 행렬이고, Rt\bold{R}_t는 관찰 노이즈 공분산 행렬이고, Bt\bold{B}_t와 Dt\bold{D}_t는 은닉과 관찰의 입력 행렬이다.
바이어스(오프셋) 항이 0인 경우 모델은 다음처럼 단순화 된다.
p(zt∣zt−1,ut)=N(zt∣Ftzt−1+Btut,Qt)p(yt∣zt,ut)=N(yt∣Htzt+Dtut,Rt)\begin{aligned} p(\bold{z}_t|\bold{z}_{t-1},\bold{u}_t) &= \mathcal{N}(\bold{z}_t|\bold{F}_t\bold{z}_{t-1} + \bold{B}_t\bold{u}_t, \bold{Q}_t) \\ p(\bold{y}_t|\bold{z}_t,\bold{u}_t) &= \mathcal{N}(\bold{y}_t|\bold{H}_t\bold{z}_t + \bold{D}_t \bold{u}_t, \bold{R}_t) \end{aligned}
입력이 존재하지 않으면 모델은 더 단순화 된다.
p(zt∣zt−1)=N(zt∣Ftzt−1,Qt)p(yt∣zt)=N(yt∣Htzt,Rt)\begin{aligned} p(\bold{z}_t|\bold{z}_{t-1}) &= \mathcal{N}(\bold{z}_t|\bold{F}_t\bold{z}_{t-1}, \bold{Q}_t) \\ p(\bold{y}_t|\bold{z}_t) &= \mathcal{N}(\bold{y}_t|\bold{H}_t\bold{z}_t, \bold{R}_t) \end{aligned}
이것을 structural equation model와 같이 작성할 수 있다.
zt=Ftzt−1+qtyt=Htzt+rt\begin{aligned} \bold{z}_t &= \bold{F}_t\bold{z}_{t-1} + \bold{q}_t \\ \bold{y}_t &= \bold{H}_t\bold{z}_t + \bold{r}_t \end{aligned}
여기서 qt∼N(0,Qt)\bold{q}_t \sim \mathcal{N}(\bold{0},\bold{Q}_t)는 프로세스 노이즈이고 rt∼N(0,Rt)\bold{r}_t \sim \mathcal{N}(\bold{0},\bold{R}_t)은 관찰 노이즈이다.
일반적으로 파라미터 θt=(Ft,Ht,Bt,Dt,Qt,Rt)\boldsymbol{\theta}_t = (\bold{F}_t, \bold{H}_t,\bold{B}_t,\bold{D}_t,\bold{Q}_t,\bold{R}_t)가 시간에 독립이라고 가정하므로 모델은 stationary이다.

참고

Made with