Boltzmann Machine
Undirected Graphical Model(UGM)을 Markov Random Fields(MRF)라고도 하는데, 모든 변수가 visible인 MRF는 변수들 사이의 상관관계를 모델링하는 유일한 방법이 엣지를 직접 추가하는 것 밖에 없기 때문에 표현력에 한계가 있다.
이에 대한 대안으로 잠재 변수를 추가한 것이 바로 Boltmann Machine이다. 여기서 그래프 구조는 임의적일 수 있으나 격자는 허용되지 않는다. 아래 그림 참조. 색상이 있는 점이 visible 변수이고, 흰색이 latent 변수이다.
Restricted Boltzmann Machine(RBM)
Boltzmann Machine은 정확한 추론이 까다롭고 근사 추론도 느릴 수 있기 때문에, 노드를 두 레이어로 배열하고, 같은 레이어 안의 노드들 사이에 연결이 없도록 아키텍쳐를 제한한 모델을 Restricted Boltzmann Machine(RBM) 또는 Harmonium이라고 한다.
RBM은 은닉 노드가 visible 노드에 조건부 독립이기 때문에 효율적인 근사 추론이 가능하다.
RBM은 에너지 함수를 사용하는 에너지 기반 모델이며 데이터가 visible layer와 hidden layer 사이에서 양방향으로 흐른다.
RBM을 여러 레이어로 쌓아서 deep 버전을 만들면 Deep Boltzmann Machine이라고 한다. 아래 그림 참조.
