교차 엔트로피(cross Entropy)

교차 엔트로피(Cross-Entropy)는 머신러닝에서 분류 문제를 다룰 때 자주 사용되는 손실 함수 중 하나입니다. 특히, 모델이 예측한 확률 분포와 실제 레이블(정답) 간의 차이를 측정하는 데 사용됩니다. 간단히 말하면, 교차 엔트로피는 모델이 예측한 확률이 실제 값과 얼마나 차이가 있는지를 평가하여 모델을 업데이트하는 역할을 합니다.

교차 엔트로피의 정의

교차 엔트로피는 두 확률 분포 p와 q 사이의 차이를 측정하는 지표입니다. 여기서 p는 실제 분포(정답 라벨), q는 모델이 예측한 분포입니다. 교차 엔트로피는 다음과 같이 정의됩니다: ! [[ 교차엔트로피 수식.png ]]

• p(xi)p(x_i)p(xi​): 실제 데이터의 확률 분포 (정답 레이블, 보통 원-핫 인코딩 형태)
• q(xi)q(x_i)q(xi​): 모델이 예측한 확률 분포 (모델이 각 클래스에 대해 예측한 확률)

이 식을 풀어 설명하자면:

• 정답 레이블 p(xi)p(x_i)p(xi​)에 대해, 예측된 확률 q(xi)q(x_i)q(xi​)가 얼마나 정확한지 측정합니다.
• 만약 모델이 예측한 확률 q(xi)q(x_i)q(xi​)가 실제 정답에 가까울수록 교차 엔트로피 값은 작아지며, 잘못 예측할수록 값이 커집니다.

직관적인 설명

교차 엔트로피는 모델이 얼마나 “확신” 있게 예측하고 있는지를 측정합니다. 예를 들어, 고양이와 개를 분류하는 이진 분류 문제에서, 실제로 고양이가 주어진 이미지에 대해 모델이 “고양이일 확률”을 0.9로 예측했다고 가정합시다. 이 경우 모델은 정답에 대해 매우 높은 확신을 가지고 있으므로 교차 엔트로피 값이 작게 나옵니다.

하지만 만약 모델이 고양이 이미지를 보고 “개일 확률”을 0.9로 예측한다면, 이는 완전히 잘못된 예측이므로 교차 엔트로피 값이 매우 크게 나옵니다.

수식에서 의미하는 것

교차 엔트로피의 기본 수식:

H(p,q)=−∑ip(xi)log⁡q(xi)H(p, q) = - \sum_{i} p(x_i) \log q(x_i)H(p,q)=−i∑​p(xi​)logq(xi​)

에서 p(xi)p(x_i)p(xi​)는 실제 정답을 나타내며, q(xi)q(x_i)q(xi​)는 모델의 예측 확률을 나타냅니다. 교차 엔트로피 손실 함수는 다음과 같은 특성을 가집니다:

1. 정답이 확실할수록 손실은 작다: 모델이 정답에 대한 높은 확률(예: 0.9, 0.99)을 예측하면 손실 값이 작아집니다.

2. 잘못된 예측일수록 손실은 크다: 모델이 정답에 대한 낮은 확률(예: 0.1)을 예측하면 손실 값이 커집니다.

이 손실 값을 최소화하는 것이 모델 학습의 목표입니다.

결국 목적함수(손실함수)를 교차엔트로피로 두는 것들은 그 값을 최소한으로 줄이는것이 목표구나.

This line appears after every note.