Suyeong Park - 지성을 추구하는 삶
/
[지식 정리]
/
[AI]
/
AI/ Log-Sum-Exp(LSE) Trick
Search
Duplicate
AI/ Log-Sum-Exp(LSE) Trick
Log-Sum-Exp(LSE) Trick
log-sum-exp trick은 다음과 같이
exp
\exp
exp
의 합에
log
\log
lo
g
를 씌운 계산에 대해 수치적 안정성을 위해 사용되는 트릭이다.
log
∑
i
=
1
n
exp
(
x
i
)
\log \sum_{i=1}^n \exp(x_i)
lo
g
i
=
1
∑
n
exp
(
x
i
)
수치적 안정성을 위해 우선 합하는 모든 항 중 최대값
M
=
max
(
x
1
,
x
2
,
.
.
.
,
x
n
)
M = \max(x_1, x_2,..., x_n)
M
=
max
(
x
1
,
x
2
,
...
,
x
n
)
을 찾고, 각 항목에 대해
M
M
M
을 뺀 값을
exp
\exp
exp
씌워 더한 후
log
\log
lo
g
를 씌우고 마지막에
M
M
M
을 다시 합한다.
log
∑
i
=
1
n
exp
(
x
i
)
=
M
+
log
∑
i
=
1
n
exp
(
x
i
−
M
)
\log \sum_{i=1}^n \exp(x_i) = M + \log \sum_{i=1}^n \exp(x_i - M)
lo
g
i
=
1
∑
n
exp
(
x
i
)
=
M
+
lo
g
i
=
1
∑
n
exp
(
x
i
−
M
)
이것을 log-sum-exp tick이라고 한다.
