Search
Duplicate

AI/ Control Variate

Control Variate

control variate는 확률적 시뮬레이션이나 몬테 카를로 방법에서 분산을 줄이기 위해 사용하는 방법이다.
비편향 추정량 m(X)=1S∑s=1Sm(xs)m(\mathcal{X}) = {1\over S} \sum_{s=1}^S m(x_s)를 사용하여 μ=E[f(X)]\mu = \mathbb{E}[f(X)]를 추정하길 원한다고 가정하자. 여기서 xs∼p(X)x_s \sim p(X)이고 E[m(X)]=μ\mathbb{E}[m(X)] = \mu이다.
m∗(X)=m(X)+c(b(X)−E[b(X)])m^*(\mathcal{X}) = m(\mathcal{X}) + c(b(\mathcal{X}) -\mathbb{E}[b(\mathcal{X})])
위와 같은 형태의 식을 control variate라고 한다. 여기서 m∗(X)m^*(\mathcal{X})는 μ\mu를 근사하는 값이고, bb는 baseline이라고 하고 원래 추정하려는 함수와 상관 관계가 있어야 한다.
baseline과 그 기대값의 차이에 상수 cc를 곱한 c(b(X)−E[b(X)])c(b(\mathcal{X}) -\mathbb{E}[b(\mathcal{X})]) 부분을 비편향 추정량 m(X)m(\mathcal{X})에 더해서 μ\mu를 근사하는 형태이다. 이것은 평균을 구하려면 적분을 해야 하는데, 그것이 까다로운 경우 원본 함수와 관련 있고 상대적으로 적분이 쉬운 baseline 함수를 사용해서 원본 함수의 평균을 근사하는 방법으로 볼 수 있다.
E[m∗(X)]=E[m(X)]=μ\mathbb{E}[m^*(X)] = \mathbb{E}[m(X)] = \mu 이므로 m∗(X)m^*(\mathcal{X})은 비편향 추정기이다. 그러나 제공된 bb가 mm과 상관관계가 있으면 낮은 분산을 갖는다.

참고

Made with