Search
Duplicate

수학/ 기댓값 연산

총 기대값의 법칙(Law of Total Expectation)

확률 변수 XX의 기대값은 XX의 조건부 기대값의 기대값과 같다. 이를 총 기댓값의 법칙이라고 한다.
E[X]=E[E[XY]]\mathbb{E}[X] = \mathbb{E}[\mathbb{E}[X|Y]]
만일 함수가 조건부로 주어진 변수에 종속 일 때, 해당 조건부 기대값은 함수값과 같다.
E[f(X)X]=f(X)\mathbb{E}[f(X)|X] = f(X)

조건부 기댓값

조건부에 대한 기댓값은 다음처럼 정의된다.
이산 확률인 경우
E[XY=y]=xXxp(xy)\mathbb{E}[X|Y=y] = \sum_{x \in X} x p(x|y)
연속 확률의 경우
E[XY=y]=Xxp(xy)dx\mathbb{E}[X|Y=y] = \int_X x p(x|y) dx
기대값과 적분에 대해 다음과 같은 관계가 정의된다. 확률 함수 p(x)p(\bold{x})에 곱해지는 대상이 확률 변수가 된다.
E[p(yx)]=p(yx)p(x)dx\mathbb{E}[p(\bold{y}|\bold{x})] = \int p(\bold{y}|\bold{x}) p(\bold{x}) d\bold{x}
확률 함수가 조건부 p(xz)p(\bold{x}|\bold{z})일 경우 기대값도 확률 함수의 조건부로 정의된다.
E[p(yx)z]=p(yx)p(xz)dx\mathbb{E}[p(\bold{y}|\bold{x})|\bold{z}] = \int p(\bold{y}|\bold{x}) p(\bold{x}|\bold{z}) d\bold{x}

기댓값과 미적분 연산 교환

함수 f(x)f(x)가 Lipschitz 조건을 만족하고 f(x)f(x)가 연속이고 ddxf(x){d\over dx}f(x)가 적분가능하면 기댓값에서의 미분 연산이 교환 가능하다.
E[ddxf(x)]=ddxE[f(x)]\mathbb{E}\left[{d\over dx}f(x)\right] = {d\over dx}\mathbb{E}\left[f(x)\right]
함수 f(x)f(x)가 Fubini’s Theorem(xx에 대해 적분 가능하고 f(x)f(x)의 기댓값이 존재)를 만족하고 f(x)f(x)가 연속이고 적분가능하면 기댓값에서의 적분 연산이 교환 가능하다.
E[f(x)dx]=E[f(x)]dx\mathbb{E}\left[\int f(x) dx\right] = \int\mathbb{E}\left[f(x)\right]dx

다른 함수로 기대값 계산

p(x)p(x)에 대한 p(y)p(y)의 기대값을 다음과 같이 정의할 수 있다.
Ep(y)[p(x)]\mathbb{E}_{p(y)} [p(x)]
이 식은 기댓값 정의에 따라 다음과 같이 계산된다.
Ep(y)[p(x)]=p(y)p(x)dy\mathbb{E}_{p(y)}[p(x)] = \int p(y)p(x) dy
만일 다변수 함수 p(y,z)p(y, z)로 기대값을 계산하면 다음과 같다.
Ep(y,z)[p(x)]=p(y,z)p(x)dydz\mathbb{E}_{p(y,z)}[p(x)] = \int \int p(y,z)p(x) dy dz