Search
Duplicate

AI/ Mean Field Approximation(MFA)

Mean Field Approximation(MFA)

Mean Field Approximation(MFA)는 독립적인 분포의 변수들로 전체 분포를 근사하는 방법이다. 전체 시스템의 확률 분포가 p(x)p(\bold{x})라 할 때 MFA는 다음과 같이 분포를 근사한다.
p(x)=∏iqi(xi)p(\bold{x}) = \prod_i q_i(x_i)
여기서 qi(xi)q_i(x_i)는 변수 xix_i에 대한 근사 분포이며, 시스템의 다른 변수들에 대해 독립이다.

Structured mean field

mean field 가정은 매우 강력하여 때때로 빈곤한 결과를 제공할 수 있다. 다행히 문제에서 다루기 쉬운 하위 구조를 활용하여 posterior의 변수들이 독립적이라고 가정하는 대신 해석적인 방법에서 그들 사이의 의존성의 종류를 효과적으로 다룰 수 있다. 이것을 structured mean field 접근이라고 한다.
일반적인 예제는 Hidden Markov Model(HMM) 같은 시계열 모델에 Variational Inference(VI)를 적용할 때 드러난다. 여기서 각 시퀀스 내부의 잠재 변수는 시간 걸쳐 높게 상관된다. 완전 분해된 posterior를 가정하는 대신 각 시퀀스 zn,1:T\bold{z}_{n,1:T}를 블록으로 취급하고 블록과 파라미터 사이에 독립성을 가정한다. q(z1:N,1:T,θ)=q(θ)∏n=1Nq(zn,1:T)q(\bold{z}_{1:N,1:T},\boldsymbol{\theta}) = q(\boldsymbol{\theta}) \prod_{n=1}^Nq(\bold{z}_{n,1:T}). 여기서 q(zn,1:T)=∏tq(zn,t∣zn,t−1)q(\bold{z}_{n,1:T}) = \prod_t q(\bold{z}_{n,t}|\bold{z}_{n,t-1}). forward-backward 알고리즘으로 시간 단계 사이의 의존성을 고려하여 결합 분포 q(zn,1:T)q(\bold{z}_{n,1:T})을 계산할 수 있다.

참고

Made with