Search
Duplicate

수학/ 조건부 확률, 베이즈 룰, 독립

조건부 확률

•
사건 AA가 사건 BB가 발생했다는 가정 하에 일어날 확률을 조건부 확률이라고 하며 다음과 같이 정의한다.
Pr(A∣B)≜Pr(A,B)Pr(B)Pr(A|B) \triangleq {Pr(A,B) \over Pr(B)}
•
위 식을 변형하면 다음과 같이 된다.
Pr(A,B)=Pr(B)Pr(A∣B)=Pr(A)Pr(B∣A)\begin{aligned} Pr(A, B) &= Pr(B) Pr(A|B) \\ &= Pr(A) Pr(B|A) \end{aligned}
•
위 식에 log를 씌우면 합으로 표현 된다.
log⁡Pr(A,B)=log⁡Pr(B)+log⁡Pr(A∣B)=log⁡Pr(A)+log⁡Pr(B∣A)\begin{aligned} \log Pr(A, B) &= \log Pr(B) + \log Pr(A|B) \\ &= \log Pr(A) + \log Pr(B|A) \end{aligned}

베이즈 룰

•
베이즈 룰은 사전 분포(prior)에 새로운 데이터(likelihood)가 관측되면 사후 분포(posterior)로 업데이트 되는 관계를 말한다.
posterior∝prior×likelihood\text{posterior} \propto \text{prior} \times \text{likelihood}
•
베이즈 룰의 식은 다음과 같이 정의 된다.
p(H=h∣Y=y)≜p(H=h)p(Y=y∣H=h)p(Y=y)p(H=h|Y=y) \triangleq {p(H=h)p(Y=y|H=h) \over p(Y=y)}
•
prior p(H=h)p(H=h)에 likelihood(조건부 확률이 아님) p(Y=y∣H=h)p(Y=y|H=h)를 곱한 뒤, 정규화를 위해 p(Y=y)p(Y=y)로 나누면 posterior p(H=h∣Y=y)p(H=h|Y=y)가 된다.
◦
위 식에서 p(H=h)p(H=h)와 같이 지정되면, 그것은 분포가 아니라 scalar 값을 갖게 된다.

독립

조건부 독립

•
만일 다음과 같다면 AA와 BB는 CC에 대해 조건부 독립이라고 하고, A⊥B∣CA \bot B |C 도로 쓴다.
Pr(A,B∣C)=Pr(A∣C)Pr(B∣C)Pr(A,B|C) = Pr(A|C)Pr(B|C)

쌍 독립

•
다음과 같은 경우 두 확률변수가 쌍독립(Pairwise Independent)라고 한다.
p(X2∣X1)=p(X2)p(X_2|X_1) = p(X_2)
•
p(X1,X2)=p(X1)p(X2∣X1)=p(X2)p(X1∣X2)p(X_1, X_2) = p(X_1)p(X_2|X_1) = p(X_2)p(X_1|X_2) 이므로
p(X2,X1)=p(X1)p(X2∣X1)=p(X1)p(X2)p(X_2, X_1) = p(X_1)p(X_2|X_1) = p(X_1)p(X_2)

상호 독립

•
다음과 같은 경우 nn개의 확률 변수가 상호 독립이라고 말한다.
p(Xi∣XS)=p(Xi) (∀S⊆{1,...,n}∖{i})p(X_i|X_S) = p(X_i) \ (\forall S \subseteq \{ 1, ... , n \} \setminus \{i\})
•
따라서
p(X1:n)=∏i=1np(Xi)p(X_{1:n}) = \prod_{i=1}^{n} p(X_i)
•
모든 요소간 쌍 독립일지라도 상호 독립이지 않을 수 있다. 개별 사건에는 독립적이지만, 개별 사건들의 결합 사건에는 독립이 아닐 수 있음.

참고

Made with