엔트로피에서 크로스엔트로피까지 - (1) 엔트로피: 클라지우스 이야기

들어가며

머신러닝 엔지니어라면 누구나 마주하는 순간이 있습니다. 바로 모델 학습 과정에서 손실 함수로 크로스 엔트로피(Cross Entropy)를 설정하는 순간입니다. 이전에는 단순히 수식을 이해하면서 정답 데이터와 예측 데이터의 차이를 계산하는 방법이라고 이해하였는데 문득 데이터의 정보량이란 무엇이고 어떤 의미를 가지는지 등 엔트로피 자체에 대한 궁금증이 커져 갔습니다.

검색을 통해 여러 자료를 공부하였고 그중 성균관대학교 뇌과학 교수님들이 운영하는 신인류라는 유튜브 채널에서 엔트로피 4부작을 보게 되었습니다. 엔트로피에 대한 전반적인 내용을 역사적으로 훑으면서 머신러닝에서 사용하는 방식까지 개괄적으로 설명해 주는 훌륭한 콘텐츠였습니다. 다만 너무 훅훅 지나가서 하나하나에 대해서 좀 더 자세하게 설명해주었으면 하는 아쉬움이 있었습니다.

그래서 영상의 흐름을 토대로 좀 더 자세하게 정리한 컨텐츠가 있었으면 좋겠다는 생각에 글을 작성하게 되었습니다.

엔트로피, 세상의 무질서도를 측정하다: 루돌프 클라우지우스 이야기

뜨거운 커피는 식어가고, 깨진 유리는 원래대로 돌아가지 않으며, 공기 중의 향수 분자들은 자발적으로 흩어져갑니다. 이처럼 자연에서 일어나는 많은 현상들은 한 방향으로만 진행되는 특징이 있습니다. 고온에서 저온으로 열이 흐르고, 압축된 기체는 팽창하며, 분자들은 무질서하게 퍼져나가는 방향으로 움직입니다. 19세기 과학자들은 이러한 자연 현상의 '방향성'을 설명할 수 있는 물리량을 찾고자 했습니다.

독일의 물리학자 루돌프 클라우지우스는 이러한 자연 현상의 방향성을 설명하기 위해 '엔트로피(Entropy)'라는 새로운 개념을 도입했습니다. 그리스어 '변환'(τροπή, tropē)에서 유래한 이 용어는, 시스템이 겪는 비가역적 변화를 정량적으로 측정할 수 있는 물리량을 의미합니다. 예를 들어, 뜨거운 물이 차가운 공기와 접촉하면 열은 언제나 뜨거운 물에서 차가운 공기로 흐르며, 이 과정에서 시스템의 엔트로피는 증가합니다. 이러한 현상은 자발적으로 반대 방향으로 일어나지 않습니다.

엔트로피 개념의 탄생 배경: 열역학 제1법칙에서 제2법칙으로

클라우지우스는 당시 이미 확립된 열역학 제1법칙(에너지 보존 법칙) 에 주목했습니다. 제1법칙은 에너지의 총량은 변하지 않는다는 것을 설명했지만, 자연 현상의 방향성을 설명하는 데는 한계가 있었습니다. 에너지는 형태를 바꿀 뿐 사라지지 않지만, 열 에너지는 항상 뜨거운 곳에서 차가운 곳으로 흐르며, 이 과정에서 유효한 일로 변환될 수 없는 에너지가 증가하는 현상을 제1법칙만으로는 설명할 수 없었습니다.

1850년대 산업혁명 시대, 증기기관의 효율을 높이는 것은 매우 중요한 과제였습니다. 클라우지우스는 프랑스의 과학자 사디 카르노(Sadi Carnot)의 연구에서 돌파구를 찾았습니다. 카르노는 1824년 "열의 동력에 관한 고찰"에서 이상적인 열기관, 즉 카르노 기관의 순환 과정을 제시했습니다. 카르노 기관은 가역적인 등온 과정과 단열 과정으로 이루어진 사이클이며, 카르노의 연구는 열기관의 최대 효율이 작동 온도에만 의존한다는 중요한 사실을 밝혀냈습니다.

카르노의 연구는 오랫동안 주목받지 못했지만, 1850년대 에너지 보존 법칙이 확립되면서 재조명되기 시작했습니다. 클라우지우스는 열역학 제1법칙의 수식 $dU=δQ−δW$ (내부에너지 변화 = 열 - 일)을 바탕으로 카르노의 연구를 재해석하기 시작했습니다.

1854년, 클라우지우스는 "변환의 등가 값에 관한 정리" 논문에서 열의 변환에 대한 연구 결과를 발표했습니다. 그는 카르노 사이클 분석을 통해 열량 $Q$와 절대온도 $T$의 관계에 주목했습니다. 카르노 사이클에서 고온에서 흡수한 열량 $Q_1$, 저온으로 방출한 열량 $Q_2$에 대해 $\frac{Q_1}{T_1} = \frac{Q_2}{T_2}$ 라는 관계가 성립함을 발견했습니다. 이는 열량을 절대온도로 나눈 값이 어떤 의미 있는 물리량이 될 수 있다는 힌트를 제공했습니다.

약 10년간의 연구 끝에 클라우지우스는 열기관의 순환 과정을 수학적으로 분석하여 클라우지우스 부등식을 도출했습니다. 이 부등식은 열역학적 순환 과정에서 $\frac{δQ}{T}$ 값의 변화가 특정한 방향성을 가진다는 것을 나타냅니다. 이는 자연계의 모든 과정에서 어떤 물리량이 증가하거나 일정하게 유지된다는 것을 의미하며, 열역학 제2법칙의 수학적 토대가 되었습니다.

1865년, 클라우지우스는 저서 "Die mechanische Wärmetheorie"(열의 기계적 이론)에서 마침내 이 물리량을 '엔트로피' 라고 명명하고 그 개념을 정립했습니다. '엔트로피'는 '내부의 변환' 정도를 나타내는 물리량이라는 의미를 담고 있습니다. 그는 가역 과정에서의 아주 작은 열량 변화 $δQ_{rev}$를 절대온도 $T$로 나눈 값 $dS = \frac{δQ_{rev}}{T}$ 을 엔트로피 변화 $dS$로 정의하고, 고립계에서는 모든 자발적인 과정에서 엔트로피가 증가한다는 것을 수학적으로 증명했습니다.

클라우지우스는 가역 과정 (이상적인, 매우 느린 평형 상태 변화) 과 비가역 과정 (실제 자연에서 일어나는 대부분의 변화, 되돌릴 수 없는 과정)을 명확히 구분했습니다. 가역 과정에서는 엔트로피 변화가 0이지만, 비가역 과정에서는 엔트로피가 항상 증가합니다. 이것이 바로 자연 현상의 방향성을 설명하는 핵심 원리, 열역학 제2법칙, 즉 엔트로피 증가 법칙입니다. 우리가 현실에서 관찰하는 많은 현상 - 열이 뜨거운 곳에서 차가운 곳으로 흐르고, 잉크가 물에 퍼져나가는 현상 - 은 모두 엔트로피 증가 법칙으로 설명할 수 있습니다.

클라우지우스의 엔트로피 개념 정립은 열역학 제2법칙의 수학적 기초를 제공했을 뿐 아니라, 이후 맥스웰과 볼츠만에 의해 통계역학적 관점에서 엔트로피가 새롭게 해석되는 토대가 되었습니다. 특히, 볼츠만은 엔트로피를 계의 미시적 상태의 수 와 연관시켜 엔트로피를 더욱 깊이 이해할 수 있도록 했습니다. 이를 통해 열역학은 거시적인 현상을 설명하는 이론에서 물질의 미시적인 세계와 연결되는 더욱 심오한 이론으로 발전할 수 있었습니다. 엔트로피는 이제 물리학을 넘어 화학, 생물학, 정보 이론, 우주론 등 다양한 분야에서 핵심적인 개념으로 자리매김하고 있습니다.

수식으로 엔트로피 더 깊이 보기

엔트로피를 수식으로 표현하고 이해하면 그 의미를 더욱 명확하게 파악할 수 있습니다. 앞서 엔트로피 개념을 역사적 맥락과 함께 살펴보았지만, 이제 몇 가지 중요한 수식을 통해 엔트로피를 더욱 깊이 파헤쳐 보겠습니다.

$$
dS= \frac{δQ_{rev}}{T}
$$

1. 완전미분과 부정확분: 상태함수 엔트로피의 탄생

엔트로피를 수학적으로 정의하기 위한 첫걸음은 완전미분($d$)과 부정확분($δ$)을 구별하는 것입니다. 이 미분 기호의 차이는 열역학에서 매우 중요하며, 엔트로피가 상태함수라는 것을 이해하는 핵심 열쇠가 됩니다.

• 완전미분($dS$, $dU$, $dH$ 등): 상태함수의 아주 작은 변화량을 나타냅니다. 상태함수란 현재의 상태에 의해서만 결정되는 물리량으로, 과거의 경로와는 무관합니다. 마치 산의 높이는 현재 위치만 알면 되는 것과 같습니다. 내부에너지($U$), 엔탈피($H$), 그리고 오늘 주인공인 엔트로피($S$) 등이 대표적인 상태함수입니다. 상태함수의 변화량 (예: $ΔS = S_{final} - S_{initial}$) 은 시작 상태와 끝 상태만 알면 어떤 경로를 거쳐 변화했는지에 상관없이 항상 동일합니다.
• 부정확분($δQ$, $δW$): 경로함수의 아주 작은 변화량을 나타냅니다. 경로함수란 변화 과정의 경로에 따라 값이 달라지는 물리량입니다. 산을 올라가는 동안 한 일은 어떤 길을 택하느냐에 따라 달라지는 것과 같습니다. 열($Q$)과 일($W$)은 대표적인 경로함수입니다. 같은 초기 상태와 최종 상태 사이에서도 어떤 과정을 거치느냐에 따라 열과 일의 양은 달라집니다. 부정확분 기호 'δ'는 적분해도 완전한 변화량을 얻을 수 없다는 의미를 담고 있습니다.

열역학 제1법칙, 즉 에너지 보존 법칙은 다음과 같이 미분 형태로 표현됩니다.

$$
dU = δQ - δW
$$

내부에너지 $U$는 상태함수이므로 완전미분 $dU$로 표현되지만, 열 $Q$와 일 $W$는 경로함수이므로 부정확분 $δQ$, $δW$로 표현됩니다. 여기서 중요한 점은 클라우지우스가 부정확분인 열($δQ$)을 특정한 방식으로 다루어 완전미분인 새로운 상태함수, 엔트로피($S$)를 정의했다는 것입니다. 마치 부정확한 재료에서 정확한 예술 작품을 창조해낸 것과 같습니다.

2. 카르노 사이클: 가역 과정과 엔트로피 변화의 연결고리

카르노 사이클은 엔트로피 개념을 이해하는 데 중요한 발판을 제공합니다. 카르노 사이클은 이상적인 가역 열기관의 순환 과정으로, 19세기 과학자들이 열기관 효율의 한계를 탐구하는 과정에서 고안되었습니다.

카르노 사이클은 다음과 같이 4가지 가역 과정으로 구성됩니다.

1. 등온 팽창 (가역): 고온 열원($T_H$)과 접촉하며 열 $Q_H$를 흡수하고 팽창 (엔트로피 증가).
2. 단열 팽창 (가역): 외부와 열 교환 없이 팽창하며 온도 감소 (엔트로피 일정).
3. 등온 압축 (가역): 저온 열원($T_C$)과 접촉하며 열 $Q_C$를 방출하고 압축 (엔트로피 감소).
4. 단열 압축 (가역): 외부와 열 교환 없이 압축하며 온도 증가 (엔트로피 일정).

카르노 기관의 열효율 ($η_{Carnot}$)은 투입한 열 ($Q_H$) 대비 얻은 일 ($W_{net}$)의 비율로 정의되며, 다음과 같이 계산됩니다.

$$
η_{Carnot} = \frac{\text{알짜 일}(W_{net})}{\text{흡수한 열}(Q_H)} = \frac{W_{net}}{Q_H}
$$

열역학 제1법칙에 의해 $W_{net} = Q_H - Q_C$ 이므로, 카르노 효율은 다음과 같이 쓸 수도 있습니다.

$$
η_{Carnot} = 1 - \frac{Q_C}{Q_H}
$$

더 나아가, 카르노 사이클이 가역 과정으로만 이루어져 있다는 특징을 이용하면, 효율은 작동하는 두 열원의 절대온도 ($T_H$, $T_C$) 만으로 표현될 수 있다는 놀라운 결론에 도달합니다.

$$
η_{Carnot} = 1 - \frac{T_C}{T_H}
$$

이 세 가지 효율 식을 종합하면 매우 중요한 관계식을 얻을 수 있습니다.

$$
1 - \frac{T_C}{T_H} = 1 - \frac{Q_C}{Q_H} \xrightarrow{\text{정리하면}} \frac{Q_H}{T_H} = \frac{Q_C}{T_C} \text{(가역 과정)}
$$

즉, 가역 과정으로 작동하는 카르노 사이클에서는 '열량/온도' 비가 일정하게 유지됩니다. 클라우지우스는 바로 이 관계식에서 영감을 받아, 가역 과정에서의 아주 작은 열량 변화 $δQ_{rev}$를 절대온도 $T$로 나눈 값 $\frac{δQ_{rev}}{T}$ 이 엔트로피 변화량 $dS$ 와 관련될 것이라고 추론했습니다. 마치 카르노 사이클이 엔트로피라는 새로운 상태함수를 향한 숨겨진 문을 열어준 것과 같습니다.

3. 클라우지우스 부등식: 비가역성의 수학적 표현

클라우지우스는 카르노 사이클 분석을 일반적인 열역학 과정으로 확장하기 위해 클라우지우스 부등식이라는 강력한 도구를 제시했습니다. 클라우지우스 부등식은 모든 열역학적 순환 과정에서 항상 성립하는 부등식으로, 자연계의 비가역성을 수학적으로 표현합니다.

클라우지우스 부등식을 이해하기 위해 임의의 복잡한 순환 과정을 무수히 많은 작은 카르노 사이클들의 조합으로 근사하는 것을 상상해 봅시다. 각 미소 카르노 사이클에서는 $\frac{δQ_{rev}}{T}$ 값이 정확하게 엔트로피 변화량 $dS$ 와 같습니다. 하지만 실제 자연에서 일어나는 과정은 대부분 비가역 과정이며, 비가역 과정에서는 열의 흐름, 마찰, 확산 등 다양한 요인으로 인해 에너지 손실 (정확히는 유효한 일로 변환될 수 없는 에너지 증가)이 발생합니다. 이러한 비가역적인 요소들을 고려하면, 임의의 순환 과정에 대해 다음과 같은 클라우지우스 부등식이 성립합니다.

$$
\oint \frac{δQ}{T} \leq 0
$$

적분 기호 $\oint$ 는 순환 경로를 따라 적분한다는 의미입니다. 클라우지우스 부등식은 순환 과정 동안 $\frac{δQ}{T}$ 를 모두 더한 값이 항상 0보다 작거나 같다는 것을 의미합니다. 등호는 가역 과정에서만 성립하며, 비가역 과정에서는 항상 부등호가 성립합니다. 클라우지우스 부등식은 엔트로피가 상태함수임을 수학적으로 뒷받침하며, 엔트로피 증가 법칙의 핵심적인 근거가 됩니다. 마치 클라우지우스 부등식이 자연의 비가역성을 웅변하는 수학적인 목소리처럼 들립니다.

4. 엔트로피 증가 법칙: 자연은 무질서도를 선호한다?

클라우지우스 부등식을 바탕으로 드디어 엔트로피 증가 법칙을 수학적으로 유도할 수 있습니다. 임의의 비가역 과정 A → B 를 생각해 보겠습니다. 비가역 과정 A → B 와 가상의 가역 과정 B → A 를 결합하여 하나의 순환 과정을 구성하면 클라우지우스 부등식을 적용할 수 있습니다.

$$
\oint \frac{δQ}{T} = \underbrace{\int_{A}^{B} \frac{δQ_{irrev}}{T}}{\text{비가역 과정 (A→B)}} + \underbrace{\int{B}^{A} \frac{δQ_{rev}}{T}}_{\text{가역 과정 (B→A)}} \leq 0
$$

가역 과정 B → A 에서 $\frac{δQ_{rev}}{T}$ 는 엔트로피 변화량 $dS$ 와 같으므로, 적분 값은 엔트로피 변화 $S_A - S_B$ 가 됩니다 (상태함수의 정의!).

$$
\int_{A}^{B} \frac{δQ_{irrev}}{T} - (S_B - S_A) \leq 0
$$

위의 두 식을 결합하면 다음과 같은 부등식을 얻습니다.

$$
\int_{A}^{B} \frac{δQ_{irrev}}{T} - (S_B - S_A) \leq 0
$$

이 부등식을 정리하면 비가역 과정 A → B 에서의 엔트로피 변화량 $ΔS = S_B - S_A$ 에 대한 중요한 정보를 얻을 수 있습니다.

$$
\Delta S = S_B - S_A \geq \int_{A}^{B} \frac{δQ_{irrev}}{T}
$$

특히 고립계의 경우, 외부와 열 교환이 없으므로 $δQ_{irrev} = 0$ 입니다. 따라서 고립계의 엔트로피 변화는 항상 0보다 크거나 같습니다.

$$
\Delta S_{isolated} = S_{B, isolated} - S_{A, isolated} \geq 0
$$

또는 미분 형태로 표현하면

$$
dS_{isolated} \geq 0
$$

이것이 바로 엔트로피 증가 법칙의 수학적 표현입니다. 고립계에서 엔트로피는 항상 증가하거나 (비가역 과정) 일정하게 유지 (가역 과정) 됩니다. 실제 자연에서 일어나는 모든 자발적인 과정은 비가역 과정이며, 고립계의 엔트로피는 시간이 지날수록 증가하는 방향으로 진행됩니다. 뜨거운 커피가 식는 과정, 잉크가 물에 퍼지는 과정, 깨진 유리가 조각나는 과정 등 우리 주변의 모든 비가역적인 현상은 엔트로피 증가 법칙으로 설명할 수 있습니다.

일반적인 열린계의 경우에도 시스템 자체의 엔트로피는 감소할 수 있지만 (예: 생명체의 질서 유지, 냉장고 작동), 시스템과 주위 환경을 포함한 전체를 더 큰 고립계로 생각하면 총 엔트로피는 항상 증가합니다.

$$
\Delta S_{total} = \Delta S_{system} + \Delta S_{surroundings} \geq 0
$$

엔트로피 증가 법칙은 우주 전체에 적용되는 보편적인 자연 법칙이며, 시간의 방향, 우주의 종말 (열적 죽음) 등 심오한 질문과도 연결됩니다. 자연은 마치 '무질서도' (더 정확히는 가능한 미시적 상태의 수) 가 증가하는 방향을 선호하는 것처럼 보입니다.

5. 정리하며

지금까지 수식을 통해 엔트로피를 더욱 깊이 있게 살펴보았습니다. 복잡해 보이는 수식 속에는 엔트로피의 정확한 정의, 상태함수로서의 위상, 자연 현상의 방향성을 결정하는 법칙 등 중요한 의미들이 담겨 있습니다. 수식은 엔트로피를 단순한 '무질서도' 라는 직관적인 개념을 넘어, 정량적이고 보편적인 과학적 개념으로 만들어줍니다.

엔트로피는 여기서 멈추지 않고 통계역학, 정보 이론, 우주론 등 다양한 분야로 확장되어 더욱 풍부한 의미를 지니게 됩니다.다음 글에서는 엔트로피의 통계역학적 해석, 볼츠만 엔트로피, 그리고 정보 엔트로피의 개념에 대해 더 자세히 알아보겠습니다.