“야 너두 RAG 완전 정복 할 수 있어!”

데이터의 바다에서 보물을 찾는 것처럼, Retrieval Augmented Generation(RAG)는 당신이 가진 데이터로부터 필요한 정보를 찾아내는 강력한 도구입니다. 다양한 소스에서 수집된 데이터는 검색이 용이하도록 전략적으로 청킹합니다. 청킹 데이터는 원하는 답을 찾을 수 있도록 검색엔진에 색인화 합니다. 그리고 LLM에 적절한 프롬프트를 사용하여 조회된 정보들로부터 정확한 결과를 추출하는 마법 같은 과정을 만듭니다. 마지막으로, 이런 일련의 과정을 App으로 빠르고 쉽게 생성, 테스트, 배포할 수 있는 LLMOps를 위한 방법을 실제 데이터와 데모를 기반으로 소개합니다. 이 세션을 통해 당신도 RAG 마스터가 되어보세요.

아젠다

1. RAG가 필요한 이유
2. RAG 구성하는 방법
3. 단계별 실전 데모
   1. 데이터 수집 및 색인화 
      1. 샘플 데이터 수집
      2. 색인화
      3. 테스트
   2. 심화 과정 - 데이터에 따라서 접근 방법
      1. 데이터가 있을 때 색인화 방법
      2. PDF로부터 색인화 방법
      3. 외부 사이트로부터 색인화 방법
   3. LLMOps
      1. 서비스 만들기
      2. 대량 테스트
   4. 심화 과정 - DevOps
      1. 도커 생성
      2. 도커 배포
   5. 원모어 씽
      1. 청킹 전략!
      2. 살아있는 정보를 기반으로 실시간 업데이트는 어떻게?

시나리오

1안. Wikipedia의 내용을 기반으로 질의 응답하는 챗봇 서비스

• Embedding 되어져 있는 데이터 기반으로 시작하는 방법
  • 데이터 업로드
  • 색인화 (키워드 + 벡터 = 하이브리드)
  • 조회 및 검색 On your data
  • 나만의 LLM API를 만드는 방법
  • App으로 활용하는 방법

2안. Founders Hub의 내용을 기반으로 질의 응답하는 챗봇 서비스 (외부 사이트)

• Prompt Flow를 통한 대량 데이터 수집
• Few-shot을 통한 데이터 청킹

3안. PDF가 있을 때, 

• Document intelligence