Marginal Likelihood
•
모델 의 Marginal Likelihood는 Model Evidence라고도 불리며, 다음처럼 정의 됨.
◦
이는 특정한 prior가 주어졌을 때, 모델 파라미터의 가능한 모든 값을 평균하여, 특정 통계 모델에서 데이터를 관찰할 확률을 나타낸다.
◦
이 식에서 은 모델, 는 관측 데이터, 는 모델의 파라미터 벡터를 나타낸다.
◦
분포에 대해 marginal이면 하나의 파라미터만 두고 나머지는 통합하는데, marginal likelihood에서는 모델이 가진 매개변수의 모든 조합을 포함하는 공간에 대해 적분이 수행된다.
•
위 식에서 는 모델 과 파라미터 가 주어졌을 때 데이터의 가능성을 표현하는 likelihood이고
◦
는 모델 의 파라미터들의 prior 분포로, 데이터를 관찰하기 전 파라미터 값에 대한 신뢰도를 나타낸다.
•
Marginal Likelihood는 모든 모델 매개변수의 불확실성을 적절히 설명하도록 보장하지만, 전체 매개변수 공간에 대해 적분을 계산하는 것이 계산적으로 어렵기 때문에, 수치 적분이나 근사 기법을 사용해야 한다.
