이 글의 1편에서는 구성원의 데이터 리터러시 향상을 돕는 AI 데이터 분석가 물어보새의 개발 계기, 목적, 핵심 기능, 그리고 RAG, LLMOps, Text-to-SQL과 같은 기술의 구현 방법을 자세히 다루었습니다. 여기에서는 Text-to-SQL을 넘어, LLM을 활용해 사내의 다양한 데이터를 탐색하고 이해해 유의미한 인사이트를 도출하는 물어보새의 데이터 디스커버리 기능을 알아보겠습니다.

물어보새는 2023년 ‘우아톤’에서 첫 선을 보였으며, 그 후 사내 구성원들의 요구를 반영해 지속적으로 발전했습니다. 이 AI 데이터 분석가는 이제 단순한 쿼리문 생성에 그치지 않고, 쿼리 해석, 문법 검증, 테이블 탐색 등 다양한 기능을 갖춘 완벽한 데이터 분석 파트너가 되었습니다.

저희가 GPT 기반 프로덕트에 대한 고민을 이제 막 시작하던 2023년 봄으로 가볼까요? 많은 사람이 ‘신기하다’는 마음으로 챗GPT를 활용해보기 시작했지만, 당시 사람들의 웃음거리가 되었던 ‘세종대왕 맥북 사건’을 포함해 GPT는 못하는 것이 참 많았습니다. 챗GPT 서비스는 그래도 좀 사용할 만했는데요, 저희의 프로덕트를 직접 만들려면 ‘서비스’인 챗GPT가 아닌 GPT API를 활용해야 했습니다. 그래서 한계점이 더 많았습니다. GPT-4 대비 그 당시 GPT-3.5 turbo는 좀 부족한 친구였고, GPT-4는 느리며 비쌌어요. 당시엔 자연어 기반 과제를 몇 건만 연속으로 처리해도 분당 호출수에 걸려서 에러 메시지를 만나야 했죠. 우리는 이 한계를 가지고 첫 프로젝트를 시작했습니다.