Reparameterization Trick
Reparameterization Trick은 확률 변수를 기대값과 표준편차를 이용하여 재매개변수화 하는 방법을 말한다.
예컨대 다음과 같이 평균 , 표준편차 인 가우시안 분포 가 존재한다고 하자.
이 분포는 다음과 같이 평균 0, 표준편차 1인 가우시안 노이즈 항 을 이용하여 정의할 수 있다.
이 방법은 분포 에서 직접 샘플링 하기 어렵거나, 의 샘플링 과정을 다른 파라미터와 분리할 필요가 있는 경우 사용할 수 있다. (으로 표현되지 않는 것에 유의하라. 분산은 분포의 폭을 나타내는 값일 뿐 확률 변수에 직접 더해지는 값이 아니다.)
위의 분포는 단변량 가우시안을 예로 하였지만, 당연히 다변량 가우시안 분포인 경우에도 사용가능하다. 아래와 같이 평균 , 공분산 행렬 인 다변량 가우시안 가 존재한다고 하자.
앞서와 같은 방식으로 다음과 같이 Reparameterization 할 수 있다. 아래 식에서 은 element-wise product를 의미한다.
위 개념을 이해하면, 이것이 비단 가우시안 분포에만 적용 가능한 것이 아님을 알 수 있다. 베타나 감마 분포 같은 연속 확률 분포도 적절한 변환을 이용하여 재매개변수화 할 수 있다.
다만 베르누이나 다항 분포 같은 이산 확률 분포의 경우 직접적인 재매개변수화가 어렵기 때문에 Gumbel-Softmax trick 같은 방법으로 연속 확률 변수로 근사한 다음 재매개변수화를 적용할 수 있다.
