Day 1 - Track 302 - 15:00 ~ 15:40

최진원 (royce.won) | 이동준 (genos.lee)

AI Agent 기반 서비스 개발 경험 공유

카카오 해커톤 1위 수상작

연말 평가의 어려움을 해결하기 위한 "스마트 AI 마이 노트"를 만들자.

GPT-4를 활용한 사례

서론

LLM이란?

• 사람처럼 자연스럽게 글을 읽고 쓰는 범용적인 AI 모델

Agent란?

• 특정 작업을 실행하거나 결정하는 AI이며 목표를 설정하고 그 목표를 달성하기 위해 여러 단계를 거쳐 수행
• 동적환경에서 자율적으로 행동하여 목표를 물어보기도 전에 알아서 목표를 달성해줌.

AI Agent는 LLM을 만나면서 더욱 강력한 성능을 발휘할 수 있게 됨

Kakao AI Platform의 Agent Platform으로 쉽게 Agent 만들 수 있음.

• 원하는 LLM으로 손쉽게 목적에 맞는 Agent를 만들수 있음. AI Agent에서 Tools를 활용하는 예시 (Function Calling)
  
• RAG를 활용하는 예시
  

본론

연말 평가 시스템을 만들어 보자 → 스마트 AI 마이 노트

사용자별 어려움

• 피평가자(성과 정리): 연간 업무 정리의 어려움 → 내가 한 일을 정리
• 평가자(성과 파악): 수십명의 팀원을 어떻게 평가할 것인가? 

기존에 시도 했으나 실패를 겪음...

• 자동화 시도
• 마이닝 (JIRA, Confluence, Agit, Kakao Work, Google Drive, Notion 등으로 사일로화)
• KPI 평가 
• 자연어 기반 복잡한 평가
• 공유하기도 싱크 맞추기도 사용하기도 힘듬.

→ 그러나 LLM을 투입해 보자!

• 자연어 처리 능력 향상
• 맥락 이해 능력 향상
• 사용자 경험 개선

수행 순서

1. 업무 데이터 모으기
2. 수집 데이터 분류하기
3. 방대한 업무내용 요약하기

업무 데이터 모으기

AI Agent를 활용하자! WIKI 페이지 기반 정보 요약

• WIKI URL의 페이지 정보 요약
• Jira 관련 작업 티켓 매핑
• 주간 업무 공유 글 작성

→ 생각보다 잘 됨!!

수집 데이터 분류 및 업무 내용 요약

• 피평가자: 성과 노트 초안 작성
  
  
  
• 평가자를 위한 성과 평가 초안 작성
  
• 피드백 방법론 적용
  
  • AAT (Action Appreciation Thanks)
  • SBI (Situation Behavior Impact)

이 과정에서 어려웠던 점

1. 데이터 전처리 (구조화 해야함, NaN 값들에 대한 처리)
2. 프롬프트 엔지니어링 필요→ 문구, 길이, 구조 등을 맞춰야 함. 어렵지만 시간이 걸리고, 완성도는 올라감.
   1. 고려해야 하는 Risk: AI 윤리원칙, AI 편향성, 개인정보보호, 노동법 고용규정, 다양한 업무 관리 방식, 비용관리(LLM/인프라)