claude 2

엔트로피에서 크로스엔트로피까지 - (3) 섀넌 엔트로피: 정보이론으로의 확장

들어가며1940년대, 제2차 세계대전을 거치며 효율적이고 안전한 통신의 필요성이 그 어느 때보다 커졌습니다. 당시 과학자들은 몇 가지 근본적인 문제에 직면해 있었습니다."어떻게 하면 제한된 통신 채널로 더 많은 정보를 보낼 수 있을까?""노이즈가 있는 환경에서 어떻게 정확한 통신을 할 수 있을까?""정보의 양은 어떻게 측정할 수 있을까?"이러한 질문들에 답하기 위해서는 먼저 '정보'라는 추상적인 개념을 수학적으로 정의하고 측정할 수 있어야 했습니다. 1948년, 클로드 섀넌의 "통신의 수학적 이론"은 이 문제에 대한 혁신적인 해답을 제시했습니다.정보의 기본 단위, 비트(Bit)의 탄생벨 연구소의 젊은 연구원이었던 클로드 섀넌이 주목한 것은 인간이 주고받는 모든 메시지가 '예/아니오'의 단순한 선택들로 이..

ML&DL 2025.01.30

Anthropic의 Contextual Retrieval Review

20일에 Anthropic에서 Introducing Contextual Retriever이라는 제목으로 새로운 Article을 개제했다. (링크)기존의 RAG 방식의 문제점을 개선하기위해 나온 방법이라고해서 리뷰해보겠다. 기존의 문제점기존 RAG에서는 문서를 효율적으로 검색하기 위해 작은 chunk로 나누지만 검색된 각각의 chunk는 문맥적인 정보가 부족하다는 단점이 있다. 그래서 사람이 직접 문장을 나누거나 embedding을 통해 문장의 유사도를 계산해 문서를 나누는 semantic chunk 를 수행하기도 하고 chunk에 문서를 요약한 내용을 넣어준다거나 가상의 문서를 만들어 임베딩하고 요약한 내용만을 인덱싱하는 등 다양한 방법들이 시도 되었다. Contextual Retriever 소개이번에 ..

RAG Study 2024.09.28