ML&DL

엔트로피에서 크로스엔트로피까지 - (4) 크로스 엔트로피: 정보이론에서 머신러닝까지

hibyeys 2025. 1. 30. 20:53

들어가며

이번 포스팅에서는 이전에 알아본 섀넌 엔트로피의 수식을 살펴보고 왜 크로스엔트로피가 손실함수로서 사용되는지에 대해 살펴보겠습니다.

섀넌의 엔트로피 수식 심층 분석

클로드 섀넌은 1948년 논문 "통신 수학 이론 (A Mathematical Theory of Communication)"에서 정보 엔트로피 개념을 확립했습니다. 이는 불확실성을 정량화하고 정보량을 객관적으로 측정하는 혁신적인 시도였습니다. 섀넌 엔트로피는 정보 이론의 초석이자, 크로스 엔트로피를 이해하는 출발점입니다.

섀넌 엔트로피 수식은 다음과 같습니다.

$$
H(X) = - \sum_{i=1}^{n} p(x_i) \log_2 p(x_i)
$$

이 수식은 확률 변수 $X$가 가질 수 있는 $n$개의 값 ($x_i$)과 그 확률 분포 $p(x_i)$를 이용하여 $X$의 엔트로피 $H(X)$를 계산합니다. 수식의 각 요소를 심층적으로 분석해 보겠습니다.

1. 정보량의 정의: $-\log_2 p(x_i)$ - 사건의 희귀성과 정보 가치

$-\log_2 p(x_i)$ 항은 특정 사건 $x_i$가 갖는 정보량 (information content)을 나타냅니다. 이 형태는 정보량의 직관적인 속성을 수학적으로 표현하기 위해 고안되었습니다.

  1. 로그 함수를 사용한 이유 (독립 사건의 정보량 가산성):

    정보 이론의 핵심 원리 중 하나는 독립적인 사건들의 정보량은 더해져야 한다는 것입니다. 예를 들어, 동전 두 번 던지기는 두 번의 독립적인 사건으로, 전체 정보량은 각 던지기에서 얻는 정보량의 합과 같아야 합니다.

    수학적으로 이를 표현하면 다음과 같습니다. 두 독립 사건 $A$와 $B$가 있을 때, 결합 사건 $A \cap B$의 정보량 $I(A \cap B)$는 각 사건의 정보량의 합 $I(A) + I(B)$ 와 같아야 합니다. 사건의 결합 확률은 곱셈으로 계산되므로 $p(A \cap B) = p(A) \cdot p(B)$ 입니다.

    $$
    I(A \cap B) = I(A) + I(B) \text{ if A and B are independent}
    $$

    $$
    I(p(A) \cdot p(B)) = I(p(A)) + I(p(B))
    $$

    이러한 함수적 성질을 만족하는 함수는 로그 함수 (logarithmic function) 뿐입니다. 로그 함수의 밑수는 정보량의 단위를 결정하며, 밑이 2인 로그를 사용하여 정보량의 단위를 비트 (bit)로 정의합니다.

    [로그 함수의 유일성]

    $f(xy) = f(x) + f(y)$ 를 만족하는 연속 함수는 $f(x) = c \log x$ (c는 상수) 형태로 유일하게 결정됩니다. 이는 함수 방정식 이론에서 중요한 결과이며, 정보량 정의에 로그 함수를 사용하는 강력한 수학적 근거를 제공합니다.

  2. 음의 부호를 붙인 이유 (확률과 정보량의 반비례 관계):

    일상적인 경험에서 희귀한 사건일수록 더 많은 정보를 담고 있다고 느낍니다. "해가 동쪽에서 뜬다" (높은 확률)는 당연한 정보이지만, "복권에 당첨됐다" (매우 낮은 확률)는 매우 가치 있는 정보입니다. 즉, 사건의 확률과 정보량은 반비례 관계를 가집니다.

    로그 함수는 0과 1 사이의 확률 값에 대해 음수 값을 갖습니다. $-\log_2 p(x_i)$ 와 같이 음의 부호를 붙여 정보량을 양수 값으로 만들고, 확률이 낮을수록 정보량이 커지도록 설계되었습니다.

  3. 밑이 2인 이유 (정보량의 비트 단위):

    로그의 밑을 2로 사용하는 것은 정보량을 비트 (bit, binary digit) 단위로 측정하기 위함입니다. 비트는 디지털 정보의 기본 단위이며, 두 가지 상태 (0 또는 1, 참 또는 거짓, 앞면 또는 뒷면 등)를 구별하는 데 필요한 최소 정보량입니다.

    예를 들어, 공정한 동전 던지기 결과 (앞면/뒷면)를 전달하는 데 필요한 정보량은 1 비트입니다. $-\log_2 (1/2) = 1 \text{ bit}$. 이는 직관적으로도 이해하기 쉬우며, 정보량 단위를 실용적으로 해석하는 데 도움을 줍니다.

    [정보량 단위의 다양성]

    로그의 밑수에 따라 정보량의 단위를 다르게 표현할 수 있습니다. 밑이 자연 상수 $e$인 자연로그 (ln)를 사용하면 정보량의 단위는 네트 (nat)가 됩니다. 밑이 10인 상용로그 (log10)를 사용하면 정보량의 단위는 디트 (dit) 또는 하틀리 (hartley)가 됩니다. 비트는 디지털 시스템에서 널리 사용되는 단위이며, 정보 이론의 초기 발전 과정에서 통신 시스템을 분석하는 데 유용했기 때문에 표준 단위로 자리 잡았습니다.

따라서 정보량 $-\log_2 p(x_i)$ 는 독립 사건의 정보량 가산성, 확률과 정보량의 반비례 관계, 정보량의 비트 단위 표현이라는 세 가지 핵심 아이디어를 수학적으로 구현한 결과입니다. 이는 직관적인 정보량 개념을 정량화하고, 정보 이론의 수학적 토대를 구축하는 데 중요한 역할을 했습니다.

2. 확률 가중치: $p(x_i)$ - 평균 정보량 (기댓값) 계산

섀넌 엔트로피 수식에서 정보량 $(-\log_2 p(x_i))$ 에 확률 $p(x_i)$ 를 곱하는 이유는 평균 정보량 (average information content), 즉 기댓값 (expected value) 을 계산하기 위함입니다.

  1. 기댓값 계산의 필요성 (실제 체감 정보량):

    각 사건 $x_i$는 서로 다른 정보량 $(-\log_2 p(x_i))$ 을 갖습니다. 하지만 실제로 우리가 체감하는 정보량은 각 사건의 정보량을 단순 합산한 것이 아니라, 각 사건이 발생할 확률을 고려한 평균적인 정보량입니다. 확률이 높은 사건은 정보량이 작더라도 자주 발생하므로 전체 정보량에 큰 영향을 미치고, 확률이 낮은 사건은 정보량이 크더라도 드물게 발생하므로 전체 정보량에 미치는 영향이 제한적입니다.

  2. 구체적인 예시 (편향된 동전):

    편향된 동전 (앞면 나올 확률 0.9, 뒷면 나올 확률 0.1) 던지기를 예로 들어 보겠습니다.

    • 앞면 정보량: $-\log_2(0.9) \approx 0.15 \text{ bits}$

    • 뒷면 정보량: $-\log_2(0.1) \approx 3.32 \text{ bits}$

      뒷면 정보량이 앞면 정보량보다 훨씬 크지만, 뒷면은 거의 발생하지 않습니다. 실제로 체감하는 평균 정보량은 각 정보량에 발생 확률을 곱하여 더한 값입니다.

      $$
      \text{평균 정보량} = (0.9 \times 0.15) + (0.1 \times 3.32) \approx 0.47 \text{ bits}
      $$

      만약 확률 가중치 $p(x_i)$ 없이 정보량을 단순 합산한다면, 실제 체감하는 정보량과는 거리가 먼 값을 얻게 될 것입니다. 따라서 확률 가중치는 실제 시스템에서 기대할 수 있는 평균적인 정보량을 정확하게 계산하기 위해 필수적입니다.

3. 총합: $\sum_{i=1}^{n}$ - 시스템 전체의 불확실성 통합

섀넌 엔트로피 수식에서 모든 가능한 사건 $i=1$부터 $n$까지 정보량을 합산하는 이유는 시스템 전체의 불확실성 (total uncertainty) 을 측정하기 위함입니다.

  1. 시스템 전체 불확실성 측정 (총체적 정보량):

    각 사건 $x_i$는 서로 다른 확률 $p(x_i)$과 정보량 $-\log_2 p(x_i)$ 를 가집니다. 개별 사건의 정보량만으로는 시스템 전체의 불확실성을 파악하기 어렵습니다. 시스템의 총체적인 불확실성을 측정하기 위해서는 모든 가능한 사건을 고려하고, 각 사건의 정보량을 확률에 따라 가중 평균하여 합산해야 합니다.

  2. 실제 예시로 이해하기 (주사위 던지기):

    주사위 던지기를 예로 들어 보겠습니다.

    • 공정한 주사위:

      • 모든 면이 나올 확률 $p_i = \frac{1}{6}$ 로 동일합니다.
      • 각 면의 정보량은 $-\log_2(\frac{1}{6}) \approx 2.58 \text{ bits}$ 입니다.
      • 전체 엔트로피는 $6 \times (\frac{1}{6} \times 2.58) = 2.58 \text{ bits}$ 입니다.

    • 편향된 주사위:

      • 1이 나올 확률 0.5, 나머지 면이 나올 확률 각 0.1 입니다.
      • 전체 엔트로피는 $0.5 \times (-\log_2 0.5) + 5 \times 0.1 \times (-\log_2 0.1) \approx 2.16 \text{ bits}$ 입니다.

      공정한 주사위는 편향된 주사위보다 높은 엔트로피를 가집니다. 이는 공정한 주사위의 결과가 더 예측하기 어렵고, 불확실성이 높다는 것을 의미합니다. 엔트로피는 시스템의 예측 불가능성, 즉 불확실성을 정량적으로 나타내는 지표입니다.

  3. 최대 엔트로피의 의미 (균등 분포):

    모든 사건의 확률이 동일할 때 (균등 분포, uniform distribution) 엔트로피가 최대가 됩니다. 공정한 주사위가 편향된 주사위보다 높은 엔트로피를 갖는 것은 균등 분포가 가장 예측하기 어려운, 즉 불확실성이 최대인 상태임을 보여줍니다.

따라서 섀넌 엔트로피 수식은 시스템의 모든 가능한 사건을 고려하고, 각 사건의 정보량을 확률에 따라 가중 평균하여 합산함으로써 시스템 전체의 불확실성을 단일 숫자로 표현합니다. 이는 정보 이론의 핵심 개념이며, 다양한 분야에서 불확실성을 정량적으로 분석하고 제어하는 데 중요한 도구로 활용됩니다.

크로스 엔트로피로의 연결: 손실 함수로서의 엔트로피

섀넌 엔트로피는 정보의 불확실성을 측정하는 강력한 도구이지만, 머신러닝에서는 두 확률 분포의 차이를 측정하고 싶을 때가 많습니다. 특히 모델이 예측한 확률 분포가 실제 데이터의 확률 분포와 얼마나 다른지를 알고 싶을 때 크로스 엔트로피가 핵심적인 역할을 합니다.

크로스 엔트로피 (cross-entropy)는 두 확률 분포 $P$와 $Q$ 사이의 차이를 측정하는 정보 이론적 척도입니다. $P$는 실제 데이터의 확률 분포 (target distribution)를 나타내고, $Q$는 모델이 예측한 확률 분포 (predicted distribution)를 나타냅니다. 크로스 엔트로피는 $P$를 $Q$로 표현할 때 필요한 평균 비트 수를 의미하며, 머신러닝 분류 모델의 손실 함수 (loss function)로 널리 사용됩니다.

1. 크로스 엔트로피의 수식

크로스 엔트로피 수식은 다음과 같습니다.

$$
H(P, Q) = - \sum_{i=1}^{n} p(x_i) \log_2 q(x_i)
$$

수식을 살펴보면 섀넌 엔트로피 수식과 매우 유사하지만, 로그 안의 확률 값이 $p(x_i)$ 대신 $q(x_i)$ 로 바뀐 것을 알 수 있습니다. 이 작은 변화가 크로스 엔트로피를 손실 함수로 활용하는 핵심적인 이유입니다.

2. 엔트로피와의 차이점: 예측과 실제의 불일치 측정

섀넌 엔트로피 $H(P) = - \sum_{i=1}^{n} p(x_i) \log_2 p(x_i)$ 는 하나의 확률 분포 $P$ 자체의 불확실성을 측정합니다. 반면, 크로스 엔트로피 $H(P, Q) = - \sum_{i=1}^{n} p(x_i) \log_2 q(x_i)$ 는 두 확률 분포 $P$와 $Q$의 차이, 특히 $P$를 $Q$로 근사할 때 발생하는 정보량 손실을 측정합니다.

머신러닝에서 우리는 실제 데이터 분포 $P$를 알지 못하지만, 학습 데이터를 통해 $P$를 추정하고, 모델 $Q$가 $P$를 최대한 근사하도록 학습합니다. 크로스 엔트로피는 모델 예측 $Q$가 실제 데이터 $P$를 얼마나 잘 근사하는지를 정량적으로 나타내는 지표입니다.

예를 들어, 이진 분류 문제에서 실제 레이블이 '고양이' ($p=1$) 인 사진에 대해 모델이 '강아지'일 확률을 0.9 ($q=0.1$) 로 잘못 예측했다면, 크로스 엔트로피는 높은 손실 값을 출력하여 모델이 예측을 교정하도록 유도합니다.

3. 크로스 엔트로피가 손실 함수로 선택된 이유 (4가지 핵심 이유)

크로스 엔트로피는 머신러닝, 특히 분류 문제에서 손실 함수로 널리 사용됩니다. 단순히 "잘 작동하는 경험적인 손실 함수"가 아니라, 정보 이론 및 통계학적 근거를 바탕으로 최적의 손실 함수에 가깝습니다. 크로스 엔트로피가 손실 함수로 선택된 주요 이유는 다음과 같습니다.

3.1 최대 우도 추정 (Maximum Likelihood Estimation, MLE)과의 깊은 관계: 통계적 최적성 보장

크로스 엔트로피가 손실 함수로 각광받는 가장 근본적인 이유는 최대 우도 추정 (MLE) 과 밀접하게 연결되어 있기 때문입니다. MLE는 통계학에서 모수 추정 (parameter estimation)의 기본 원리 중 하나이며, 주어진 데이터로부터 모수를 추정할 때, 데이터가 관측될 가능성 (likelihood) 을 최대화하는 모수를 선택하는 방법입니다.

머신러닝 모델 학습은 결국 모델 파라미터 $(\theta)$ 를 데이터에 맞춰 최적화하는 과정입니다. 학습 데이터가 주어졌을 때, 학습 데이터를 가장 잘 "설명하는" 모델 파라미터를 찾는 것이 목표이며, MLE는 이러한 목표를 수학적으로 정형화합니다.

[우도 함수와 로그 우도 함수]
우도 함수 (likelihood function) $L(\theta; D)$ 는 주어진 파라미터 $\theta$ 하에서 데이터 $D$ 가 관측될 확률을 나타냅니다. MLE는 이 우도 함수를 최대화하는 $\theta$ 를 찾습니다. 실제 계산에서는 로그 우도 함수 (log-likelihood function) $\log L(\theta; D)$ 를 최대화하는 것이 편리합니다. 로그 함수는 단조 증가 함수이므로 우도 함수를 최대화하는 것과 로그 우도 함수를 최대화하는 것은 동일한 결과를 가져옵니다. 또한 로그 함수는 곱셈을 덧셈으로 변환하는 성질이 있어, 독립적인 데이터 샘플의 우도를 다루기 용이합니다.

MLE와 크로스 엔트로피의 동치성 증명 (이진 분류 예시):

이진 분류 문제 (binary classification) 를 예시로 들어 MLE와 크로스 엔트로피의 관계를 자세히 살펴보겠습니다.

  1. 우도 함수 정의: $N$ 개의 독립적인 데이터 샘플 $(x_i, y_i)$ 가 주어졌다고 가정합니다. 여기서 $x_i$ 는 입력 데이터, $y_i \in {0, 1}$ 는 레이블입니다. 모델은 입력 $x_i$ 에 대해 클래스 1일 확률 $q_i = P(y_i=1|x_i; \theta)$ 를 예측합니다. 우도 함수는 모든 데이터 샘플이 관측될 확률을 나타내며, 독립성을 가정하면 각 샘플의 확률의 곱으로 표현됩니다.

    $$
    L(\theta) = \prod_{i=1}^N P(y_i|x_i;\theta)
    $$

  2. 로그 우도 함수: 계산 편의를 위해 로그를 취합니다.

    $$
    \log L(\theta) = \sum_{i=1}^N \log P(y_i|x_i;\theta)
    $$

  3. 이진 분류 확률 모델: 이진 분류 문제에서 $y_i$ 는 0 또는 1의 값을 가집니다. 모델이 예측한 확률 $q_i = P(y_i=1|x_i;\theta)$ 를 이용하여 $P(y_i|x_i;\theta)$ 를 다음과 같이 표현할 수 있습니다.

    • $y_i = 1$ 일 때: $P(y_i|x_i;\theta) = q_i$

    • $y_i = 0$ 일 때: $P(y_i|x_i;\theta) = 1 - q_i$

      이를 하나의 식으로 통합하면 다음과 같습니다.

      $$
      P(y_i|x_i;\theta) = q_i^{y_i} (1-q_i)^{1-y_i}
      $$

  4. 로그 우도 함수 전개: 위의 확률 모델을 로그 우도 함수에 대입합니다.

    $$
    \log L(\theta) = \sum_{i=1}^N [y_i \log q_i + (1-y_i) \log (1-q_i)]
    $$

  5. 최대화에서 최소화로 변환: MLE는 로그 우도 함수를 최대화하는 파라미터 $\theta$ 를 찾는 것입니다. 최대화 문제를 최소화 문제로 바꾸기 위해 음수를 취합니다.

    $$
    \max_{\theta} \log L(\theta) = \max_{\theta} \sum_{i=1}^N [y_i \log q_i + (1-y_i) \log (1-q_i)]
    $$

    $$
    = \min_{\theta} - \sum_{i=1}^N [y_i \log q_i + (1-y_i) \log (1-q_i)]
    $$

  6. 크로스 엔트로피와의 동치성: 마지막 식은 이진 크로스 엔트로피 (binary cross-entropy) 의 정의와 정확히 일치합니다. 실제 확률 분포 $P$ 를 $p_i = y_i$ 로, 예측 확률 분포 $Q$ 를 $q_i$ 로 놓으면, 이진 크로스 엔트로피는 다음과 같이 정의됩니다.

    $$
    H(P, Q) = - \sum_{i=1}^n [p_i \log q_i + (1-p_i) \log (1-q_i)]
    $$

    이진 분류 문제에서 $y_i$ 는 0 또는 1 이므로, 실제 확률 분포 $P$ 는 원-핫 인코딩 (one-hot encoding) 형태로 표현됩니다. 따라서 $p_i = y_i$ 로 둘 수 있습니다.

결론적으로, 크로스 엔트로피 손실 함수를 최소화하는 것은 로그 우도 함수를 최대화하는 것과 수학적으로 동일한 과정입니다. 즉, 크로스 엔트로피 최소화는 MLE 원리에 기반한 통계적으로 타당한 학습 방법입니다.

MLE와 크로스 엔트로피 동치성의 중요성:

  • 통계적 최적성: MLE는 일치성 (consistency), 효율성 (efficiency) 등 좋은 통계적 성질을 갖는 것으로 알려져 있습니다. 크로스 엔트로피 손실 함수는 MLE와 동치이므로, 이러한 통계적 최적성을 보장받습니다.
  • 자연스러운 확장: 이진 분류 문제에서 다중 클래스 분류 (multi-class classification) 문제로의 확장이 자연스럽습니다. 소프트맥스 (softmax) 함수와 결합하여 다중 클래스 크로스 엔트로피 손실 함수를 유도할 수 있습니다.
  • 이론적 근거: 크로스 엔트로피는 단순히 경험적으로 "잘 작동하는" 손실 함수가 아니라, 통계학적 원리에 기반한 이론적으로 타당한 선택입니다. 이는 딥러닝 모델 학습의 안정성과 성능을 뒷받침하는 중요한 근거가 됩니다.

3.2 확률 분포 비교의 이상적인 도구: 확률의 본질 반영

딥러닝 분류 문제에서 모델 출력은 확률 분포 형태로 표현됩니다. 예를 들어, 고양이-강아지 분류 모델은 입력 이미지에 대해 "고양이 확률 0.7, 강아지 확률 0.3" 과 같이 확률 벡터를 출력합니다. 실제 레이블은 원-핫 인코딩 형태로 "고양이: 1, 강아지: 0" 과 같이 표현됩니다.

크로스 엔트로피는 이러한 확률 분포 간의 차이를 측정하는 데 매우 효과적인 도구입니다.

# 예시: 고양이-강아지 분류 문제

model_output = [0.7, 0.3]  # softmax 출력 (고양이 확률 0.7, 강아지 확률 0.3)
true_label = [1, 0]        # one-hot encoding (실제 레이블: 고양이)

단순히 예측 확률과 실제 레이블 값의 차이를 계산하는 것보다, 크로스 엔트로피는 다음과 같은 장점을 가집니다.

  1. 확률의 본질적 특성 반영: 크로스 엔트로피는 확률 분포의 기본적인 제약 조건 (모든 확률 값은 0과 1 사이, 모든 확률의 합은 1) 을 자연스럽게 반영합니다. 손실 함수 값이 확률 분포의 형태에 민감하게 반응하도록 설계되어, 모델이 확률 분포를 정확하게 예측하도록 유도합니다.
  2. 직관과의 일치: 예측이 정답에 가까울수록 크로스 엔트로피 손실 값은 작아지고, 예측이 정답에서 멀어질수록 손실 값은 커집니다. 이는 우리의 직관적인 "오차" 개념과 정확히 일치합니다. 크로스 엔트로피는 모델의 예측 오류를 정량화하고, 학습 과정에서 모델을 올바른 방향으로 개선하도록 안내하는 역할을 합니다.

3.3 우수한 수학적 특성: 최적화 용이성 및 안정성 보장

좋은 손실 함수는 몇 가지 바람직한 수학적 특성을 가져야 합니다. 크로스 엔트로피는 이러한 조건들을 만족하며, 딥러닝 모델 학습의 효율성과 안정성을 높이는 데 기여합니다.

  • 첫째, 항상 의미 있는 값 (0 이상) 을 가져야 합니다. 크로스 엔트로피는 항상 0 이상의 값을 가집니다 ($H(P,Q) \geq 0$). 손실 함수 값이 음수가 되는 경우는 발생하지 않으므로, 학습 과정이 안정적으로 진행될 수 있습니다.
  • 둘째, 완벽한 예측일 때만 최솟값 (0) 을 가져야 합니다. 크로스 엔트로피는 예측 분포 $Q$ 가 실제 분포 $P$ 와 완벽하게 일치할 때만 최솟값 0을 가집니다 ($H(P,Q) = 0 \iff P = Q$). 이는 모델이 학습 데이터를 완벽하게 예측했을 때 손실이 0이 되고, 더 이상 학습할 필요가 없음을 의미합니다.
  • 셋째, 최적화가 용이해야 합니다. 크로스 엔트로피는 볼록 함수 (convex function) 에 가까운 형태를 가집니다. 엄밀히 말하면 크로스 엔트로피 자체는 볼록 함수가 아니지만, 특정 조건 하에서 볼록 함수와 유사한 성질을 보입니다. 볼록 함수는 전역 최적해 (global minimum) 를 찾기 쉽고, 경사 하강법 (gradient descent) 과 같은 최적화 알고리즘이 안정적으로 수렴하도록 돕습니다. 크로스 엔트로피는 딥러닝 모델 학습 시 최적화 문제를 효율적으로 해결하는 데 기여합니다.

3.4 효율적인 학습을 위한 자동 기울기 조절: 학습 속도 및 성능 향상

크로스 엔트로피는 예측이 틀린 정도에 따라 손실 값과 기울기 (gradient) 크기를 자동적으로 조절하는 특성을 가집니다. 예측이 크게 틀릴수록 더 큰 손실 값과 기울기를 출력하여 모델 파라미터를 빠르게 갱신하고, 예측이 정답에 가까워질수록 작은 손실 값과 기울기를 출력하여 섬세한 조정을 가능하게 합니다.

예를 들어, 이진 분류 문제에서 정답 레이블이 1 (positive) 일 때, 모델 예측 확률에 따른 크로스 엔트로피 손실 값과 기울기를 비교해 보겠습니다.

  • 정답 (1) 을 0.9 로 예측: 손실 $\approx 0.15 \text{ bits}$, 기울기 $\approx -0.1$ (작은 기울기)
  • 정답 (1) 을 0.1 로 예측: 손실 $\approx 3.32 \text{ bits}$, 기울기 $\approx -10$ (큰 기울기)

예측 확률이 정답에서 멀어질수록 손실 값과 기울기 크기가 급격하게 증가하는 것을 확인할 수 있습니다. 이러한 특성은 학습 초기 단계에서 모델이 빠르게 정답에 근접하도록 돕고, 학습 후반 단계에서는 세밀한 조정을 통해 성능을 극대화하도록 돕습니다.

크로스 엔트로피의 자동 기울기 조절 효과:

  • 학습 초기: 모델 예측이 부정확할 때 (손실 값 큼) 큰 기울기를 통해 파라미터를 빠르게 갱신하여 학습 속도를 높입니다. 마치 급경사를 빠르게 내려가는 것과 같습니다.
  • 학습 후기: 모델 예측이 정확해질 때 (손실 값 작음) 작은 기울기를 통해 파라미터를 미세하게 조정하여 최적해에 수렴하도록 돕습니다. 마치 평지에서 조심스럽게 걷는 것과 같습니다.

이러한 자동 기울기 조절 기능은 별도의 학습률 (learning rate) 조정 없이도 효율적인 학습을 가능하게 합니다. 크로스 엔트로피는 마치 지형에 따라 자동으로 속도를 조절하는 똑똑한 등산가와 같이, 딥러닝 모델 학습을 효율적이고 안정적으로 이끌어주는 핵심적인 손실 함수입니다.

3.5 정리하며

크로스 엔트로피는 단순히 "널리 사용되는 손실 함수" 이상의 의미를 갖습니다. 최대 우도 추정 (MLE) 과의 이론적 연관성은 크로스 엔트로피가 통계적으로 가장 타당한 손실 함수임을 보여주고, 확률 분포 비교 도구로서의 자연스러움, 우수한 수학적 특성, 효율적인 학습을 위한 자동 기울기 조절 기능은 딥러닝 분류 모델의 손실 함수로서 완벽한 조건을 갖추고 있음을 증명합니다.