포니아범.ai

  • 홈
  • 태그
  • 방명록

섀넌 1

엔트로피에서 크로스엔트로피까지 - (3) 섀넌 엔트로피: 정보이론으로의 확장

들어가며1940년대, 제2차 세계대전을 거치며 효율적이고 안전한 통신의 필요성이 그 어느 때보다 커졌습니다. 당시 과학자들은 몇 가지 근본적인 문제에 직면해 있었습니다."어떻게 하면 제한된 통신 채널로 더 많은 정보를 보낼 수 있을까?""노이즈가 있는 환경에서 어떻게 정확한 통신을 할 수 있을까?""정보의 양은 어떻게 측정할 수 있을까?"이러한 질문들에 답하기 위해서는 먼저 '정보'라는 추상적인 개념을 수학적으로 정의하고 측정할 수 있어야 했습니다. 1948년, 클로드 섀넌의 "통신의 수학적 이론"은 이 문제에 대한 혁신적인 해답을 제시했습니다.정보의 기본 단위, 비트(Bit)의 탄생벨 연구소의 젊은 연구원이었던 클로드 섀넌이 주목한 것은 인간이 주고받는 모든 메시지가 '예/아니오'의 단순한 선택들로 이..

ML&DL 2025.01.30
이전
1
다음
프로필사진

포니아범.ai

머신러닝 엔지니어 포니아범. 금융, 음악 도메인에 관심이 많습니다

  • 분류 전체보기 (19)
    • 일상 (0)
    • RAG Project (11)
    • RAG Study (1)
    • Music Project (0)
    • ML&DL (6)
    • LLM (1)

Tag

cross entropy, NLP, finance, ragas, macine learning, crossentropy, DEEPLEARNING, claude, rag, globalmacro, QA, LLM, evaluation, machine learning, Anthropic, entropy, chatbot, Ai, 엔트로피, 크로스엔트로피,

최근글과 인기글

  • 최근글
  • 인기글

Archives

Calendar

  2025. 06  
일 월 화 수 목 금 토
1 2 3 4 5 6 7
8 9 10 11 12 13 14
15 16 17 18 19 20 21
22 23 24 25 26 27 28
29 30

방문자수Total

  • Today :
  • Yesterday :

Copyright © Kakao Corp. All rights reserved.

티스토리툴바

개인정보

  • 티스토리 홈
  • 포럼
  • 로그인

단축키

내 블로그

내 블로그 - 관리자 홈 전환
Q
Q
새 글 쓰기
W
W

블로그 게시글

글 수정 (권한 있는 경우)
E
E
댓글 영역으로 이동
C
C

모든 영역

이 페이지의 URL 복사
S
S
맨 위로 이동
T
T
티스토리 홈 이동
H
H
단축키 안내
Shift + /
⇧ + /

* 단축키는 한글/영문 대소문자로 이용 가능하며, 티스토리 기본 도메인에서만 동작합니다.