포니아범.ai

https://transformer-circuits.pub/2021/framework/index.html A Mathematical Framework for Transformer CircuitsContents Transformer language models are an emerging technology that is gaining increasingly broad real-world use, for example in systems like GPT-3 , LaMDA , Codex , Meena , Gopher , and similar models.  However, as these models scale, their open-endednetransformer-circuits.pub이번 포스팅에서는 T..

20일에 Anthropic에서 Introducing Contextual Retriever이라는 제목으로 새로운 Article을 개제했다. (링크)기존의 RAG 방식의 문제점을 개선하기위해 나온 방법이라고해서 리뷰해보겠다. 기존의 문제점기존 RAG에서는 문서를 효율적으로 검색하기 위해 작은 chunk로 나누지만 검색된 각각의 chunk는 문맥적인 정보가 부족하다는 단점이 있다. 그래서 사람이 직접 문장을 나누거나 embedding을 통해 문장의 유사도를 계산해 문서를 나누는 semantic chunk 를 수행하기도 하고 chunk에 문서를 요약한 내용을 넣어준다거나 가상의 문서를 만들어 임베딩하고 요약한 내용만을 인덱싱하는 등 다양한 방법들이 시도 되었다. Contextual Retriever 소개이번에 ..