포니아범.ai

들어가며앞서 우리는 섀넌 엔트로피, 크로스 엔트로피, KL Divergence 를 통해 정보량, 불확실성, 그리고 확률 분포 간의 차이를 정량화하는 방법을 살펴보았습니다. 이제 정보 이론의 또 다른 핵심 개념인 상호 정보량 (Mutual Information, MI) 을 탐구하며, 두 확률 변수 사이의 상호 의존성 (mutual dependence) 또는 공유 정보량 (shared information) 을 측정하는 방법을 알아보겠습니다.Mutual Information 이란? - 변수 간의 관계성 측정일상 생활에서 우리는 종종 변수들 사이의 관계에 주목합니다. 예를 들어, "키가 클수록 몸무게가 많이 나갈 가능성이 높다" 거나, "날씨가 더울수록 아이스크림 판매량이 증가한다" 와 같은 경험적 관계를 인..

들어가며정보 이론과 통계학의 발전 과정에서 "두 확률 분포가 얼마나 다른가?" 라는 근본적인 질문에 대한 답을 찾기 위한 노력이 지속되었습니다. 1951년, 솔로몬 쿨백 (Solomon Kullback) 과 리처드 라이블러 (Richard Leibler)는 두 확률 분포 사이의 상대 엔트로피 (relative entropy), 즉 KL Divergence 를 제안하여 이 질문에 대한 획기적인 해답을 제시했습니다.KL Divergence 는 두 확률 분포 $P$ 와 $Q$ 의 차이를 측정하는 정보 이론적 척도입니다. $P$ 를 "기준 분포" 또는 "참 분포", $Q$ 를 "근사 분포" 또는 "모델 분포" 라고 할 때, $D_{KL}(P||Q)$ 는 $Q$ 로 $P$ 를 근사할 때 발생하는 정보량 손실, 또..

들어가며1940년대, 제2차 세계대전을 거치며 효율적이고 안전한 통신의 필요성이 그 어느 때보다 커졌습니다. 당시 과학자들은 몇 가지 근본적인 문제에 직면해 있었습니다."어떻게 하면 제한된 통신 채널로 더 많은 정보를 보낼 수 있을까?""노이즈가 있는 환경에서 어떻게 정확한 통신을 할 수 있을까?""정보의 양은 어떻게 측정할 수 있을까?"이러한 질문들에 답하기 위해서는 먼저 '정보'라는 추상적인 개념을 수학적으로 정의하고 측정할 수 있어야 했습니다. 1948년, 클로드 섀넌의 "통신의 수학적 이론"은 이 문제에 대한 혁신적인 해답을 제시했습니다.정보의 기본 단위, 비트(Bit)의 탄생벨 연구소의 젊은 연구원이었던 클로드 섀넌이 주목한 것은 인간이 주고받는 모든 메시지가 '예/아니오'의 단순한 선택들로 이..

들어가며루드비히 볼츠만(Ludwig Boltzmann, 1844-1906)은 클라우지우스의 열역학적 엔트로피 개념($dS = \frac{δQ_{rev}}{T}$)이 내포한 근본적인 질문, 즉 "엔트로피는 왜 증가하는가?"에 대한 해답을 탐구했습니다. 클라우지우스의 정의는 현상론적으로 엔트로피 증가 법칙을 기술했지만, 비가역 과정의 미시적 기원과 엔트로피 증가의 본질에 대한 심층적인 설명을 제공하지 못했습니다. 볼츠만은 이러한 한계를 극복하고 엔트로피를 미시적 관점에서 재해석하는 혁명적인 시도를 감행했습니다.볼츠만 엔트로피의 탄생 배경: 미시적 세계로의 탐구열역학적 미스터리: 비가역성과 엔트로피 증가19세기 후반, 열역학은 거시적 현상을 기술하는 강력한 이론으로 자리매김했지만, 몇 가지 근본적인 질문에 직..

들어가며머신러닝 엔지니어라면 누구나 마주하는 순간이 있습니다. 바로 모델 학습 과정에서 손실 함수로 크로스 엔트로피(Cross Entropy)를 설정하는 순간입니다. 이전에는 단순히 수식을 이해하면서 정답 데이터와 예측 데이터의 차이를 계산하는 방법이라고 이해하였는데 문득 데이터의 정보량이란 무엇이고 어떤 의미를 가지는지 등 엔트로피 자체에 대한 궁금증이 커져 갔습니다.검색을 통해 여러 자료를 공부하였고 그중 성균관대학교 뇌과학 교수님들이 운영하는 신인류라는 유튜브 채널에서 엔트로피 4부작을 보게 되었습니다. 엔트로피에 대한 전반적인 내용을 역사적으로 훑으면서 머신러닝에서 사용하는 방식까지 개괄적으로 설명해 주는 훌륭한 콘텐츠였습니다. 다만 너무 훅훅 지나가서 하나하나에 대해서 좀 더 자세하게 설명해주었..