들어가며머신러닝 엔지니어라면 누구나 마주하는 순간이 있습니다. 바로 모델 학습 과정에서 손실 함수로 크로스 엔트로피(Cross Entropy)를 설정하는 순간입니다. 이전에는 단순히 수식을 이해하면서 정답 데이터와 예측 데이터의 차이를 계산하는 방법이라고 이해하였는데 문득 데이터의 정보량이란 무엇이고 어떤 의미를 가지는지 등 엔트로피 자체에 대한 궁금증이 커져 갔습니다.검색을 통해 여러 자료를 공부하였고 그중 성균관대학교 뇌과학 교수님들이 운영하는 신인류라는 유튜브 채널에서 엔트로피 4부작을 보게 되었습니다. 엔트로피에 대한 전반적인 내용을 역사적으로 훑으면서 머신러닝에서 사용하는 방식까지 개괄적으로 설명해 주는 훌륭한 콘텐츠였습니다. 다만 너무 훅훅 지나가서 하나하나에 대해서 좀 더 자세하게 설명해주었..
