#AWS #딥러닝 #NLP
조성범 2023.04.06
2022년 11월 ChatGPT가 세상에 등장하고 벌써 몇 달이 지났습니다. 새로운 AI 모델의 등장에 환영하는 사람도 있었고, 신기술의 잘못된 사용을 우려하는 목소리도 있었습니다. 하지만 지금은 ChatGPT를 한 번도 사용해보지않은 사람은 있어도 한 번만 써본 사람은 없을 정도로 다양한 분야에서 대화형 인공지능을 활용하고자 하는 시도가 계속 늘고 있습니다.
ChatGPT, 진짜 쓸만한 거 맞아?
우리들 대부분은 ‘챗봇’이라는 단어에 부정적인 경우가 많습니다. 금융, 쇼핑, 게임 등 다양한 서비스를 이용하며 문의하고 싶은 것이 있을 때 해당 서비스에서 제공하는 챗봇을 이용하기보단 고객센터 전화번호를 먼저 찾습니다. 그동안의 챗봇은 우리의 요청을 이해한 후 논리적인 추리와 함께 가이드를 제시하기보다는, 미리 정의된 정보를 단순히 나열하여 제공해주는 사전과 비슷한 역할을 해왔습니다. 그렇다 보니 여러 번 질문해도 원하는 정보가 오지 않을 경우 사용자의 피로도는 높아질 수밖에 없었습니다. 저 역시도 그동안의 챗봇 서비스에 지쳐 상담 센터 번호를 먼저 찾는 사용자였습니다. 처음 ChatGPT가 등장했을 때 그저 그런 챗봇이 또하나 출시되었다고 생각했었습니다.
진짜 쓸만한 거 맞아!
자주 다루는 라이브러리나 언어를 써야 할 때는 구글링의 도움을 받습니다. 그런데 조금 마이너한 라이브러리라거나 일반적인 사용이 아니라면 구글링을 해도 명확한 답이 나오지 않을 때가 많습니다. 크게 어려운 문제는 아닌 것 같은데 계속 원하는 결과가 나오지 않는 코드와 씨름을 한 날이 있었고, 이때 처음으로 ‘ChatGPT한테 물어나 볼까?’ 하는 생각을 하게 되었습니다. 그리고 이날 받은 답변은 ChatGPT를 다시 보게 할 만큼 충분히 만족스러웠습니다.
성능이 좋은 것은 확인되었으니 이제 어디에 쓰는지가 중요했습니다. ChatGPT 웹사이트에 접속하여 중간중간 도움을 받는 것도 좋지만 하나로 통합된 무언가가 필요했습니다. 그러다 나온 결론이 사내 통합 메신저인 슬랙에 결합해보자는 생각이었습니다. 슬랙을 타깃으로 한 이유는 아래와 같습니다.
- 직군에 상관없이 모두가 사용 중
- 사내 업무 시스템 중 사용량이 가장 많음
- 모바일, PC 등 접근성이 좋음
ChatGPT를 연결할 시스템은 정해졌으니 다음은 무엇을 할지 정해야 했습니다. ChatGPT 자체가 학습 가능한 대화형 인공지능이다 보니 활용 방안이 무궁무진했지만 우선 우리가 가장 자주 하는 반복 업무에 적용하는 것으로 의견이 모아졌습니다.
슬랙을 운영하는 회사는 대부분 별도의 Support/Help 채널을 운영할 것입니다. 우아한형제들에서의 Support 채널은 인사, 자금, IT 구성원이 업무를 진행하다 막히는 부분이 있으면 해당 업무 전문가가 바로 도와줄 수 있는 창구를 의미합니다. 우리 팀은 이 중에서도 Support-IT 채널을 운영하며 구성원들에게 도움을 주고 있습니다.
Support 채널 중 IT를 담당하며 운영하다 보니 한 가지 드는 생각이 있었습니다. 새로운 질문이 오는 경우도 물론 있었지만 사용자의 문의 대부분(체감상 70~80%)이 거의 동일하다는 것이었습니다. 게다가 Support 채널에 등록된 요청의 목적이 무엇인지, 어떤 담당자를 호출해야 하는지, 일단 적절한 채널에 요청이 온 것인지 파악하는 운영 리소스도 갈수록 늘어나고 있었습니다. 따라서 그 70-80% 질문의 패턴(키워드)을 찾아내어 자동으로 답변 및 담당자를 찾아주는 슬랙 봇을 기획하였고 최근 Support-IT 채널에 적용하여 활용하고 있습니다.
사례 1 : Support 채널에 ChatGPT 적용하기
Support-IT 채널에는 충전기 케이블 대여 문의부터 사내 시스템 오류에 대한 리포트까지 정말 다양한 요청이 올라옵니다. 우리는 이렇게 오는 요청을 우선 분류하여 각각의 키워드를 정리하였습니다. 여기까지는 그동안의 경험을 바탕으로 인공지능이 아닌 인간지능으로 진행하였고, 요청의 키워드를 분석하여 실제로 이것이 어떤 요청인지를 파악하는 것은 인공지능 ChatGPT의 힘을 빌려 진행하였습니다. 간단한 시스템 개요도는 아래와 같습니다.
운영 비용을 최소화하고 검증된 안정적인 서버 사용을 위해 모든 인프라는 SaaS*로 구성하였습니다.
1. Support 채널 요청
슬랙의 메시지를 받아서 처리하는 봇을 생성하였습니다. 발생하는 메시지를 AWS 람다**로 전달할 수 있도록 적절한 권한을 부여하였고 람다 함수를 호출할 수 있는 URL로 연결하였습니다.
2. ChatGPT로 키워드 추출 요청
메시지를 ChatGPT로 전달하는 것은 사실 큰 기술이 필요하지 않습니다. 문서 어딘가에 숨겨진 잘 안쓰는 새로운 API가 필요한 것도 아닙니다. 다음 예시 코드처럼 ‘user’의 요청에 ‘requestText’ 한 줄만 더 추가해서 전달하면 됩니다. 자연어를 인식하는 AI인 만큼 이를 잘 활용하면 ‘위 요청의 키워드 3개 이내로 한 줄로 쉼표로 구분해서 써줘’ 대신 ‘사용자의 요청을 더 짧게 요약해서 알려줘’라든가 ‘이 요청의 요청자가 사용하는 시스템을 알려줘’ 등 다양한 변수를 추가할 수 있습니다.
def keywordsByChatGPT(text):
requestText = "사용자의 요청을 더 짧게 요약해서 알려줘"
messages = [{"role": "user", "content": text},
{"role": "user", "content": requestText}]
data = {"model": "gpt-3.5-turbo", "messages": messages,
"temperature": 1, "max_tokens": 500}
response = requests.post(url_for_chatGPT, data=json.dumps(data),
headers=headers_for_chatGPT)
return response.json()["choices"][0]["message"]["content"]
위 코드에서 data가 ChatGPT에게 전달되는 값입니다.
3. 추출된 키워드를 스프레드시트에서 받아오고 다시 슬랙으로 답변 전달
이 단계에서 가장 중요한 부분은 왜 데이터베이스 같은 시스템을 사용하지 않고 구글 스프레드시트를 사용했느냐인데, 이유는 단지 사용자 친화성입니다. 시중에 다양한 SaaS 기반 데이터베이스가 있지만 기능적으로는 뛰어날 수 있을지 몰라도 비 IT 부서 구성원은 사용하기 어려울 수 있습니다. 우리의 목표는 모든 구성원이 데이터베이스를 함께 참조하여 필요한 데이터를 직접 추가, 삭제하는 것이었고, 그것을 위해서는 구글 스프레드 시트가 가장 적합하다고 판단하였습니다.
다음 요청은 실제로 ChatGPT를 통한 응답 봇이 작동한 사례입니다. 사용자 요청을 읽은 후 ChatGPT가 키워드를 추출하고 해당 키워드에 맞는 담당자를 호출합니다.
• 실제 작동 사례 •
ChatGPT 외에도 형태소 분석 라이브러리, AWS Comprehend 등 여러 방법을 시도해보았으나 ChatGPT만큼 명확하게 키워드를 분석해주지는 못했습니다. 심지어 ChatGPT는 ‘느린 사이트’ 같은 문장에서 단순히 ‘느린’을 추출하는 것이 아닌 ‘느림’이라는 단어로 변경하는 등, 다른 방법보다 더 사람같이 분석한 결과를 주었습니다(위의 예시에서도 ‘회의제한’이라는 단어가 본문에는 없지만 ChatGPT의 키워드에는 포함되어 있습니다). 그리고 기존에는 요청이 어떤 것인지 파악하는 시간이 들었지만, 적용 이후 요청에 대한 운영 리소스가 줄어드는 효과도 있었습니다.
아직은 확실한 답변이 있는 명확한 요청에만 답을 하도록 설정해두었습니다. 키워드 분석은 ChatGPT가 하지만 실제 답변은 답변 풀에서 전달되고 있어 기존의 (사용자를피곤하게하는) 챗봇 느낌이 최대한 안 나도록 고민하며 답변 풀을 추가하고 있습니다. 아직은 여러 제약 사항으로 진행하고 있지 않지만, ChatGPT에게 예상 답변을 미리 학습시켜 내용 분석부터 솔루션 제공까지 스스로 하는 방법도 검토하고 있습니다.
- Software as a Service. 인터넷 브라우저를 통해 사용자에게 애플리케이션을 제공하는 클라우드 기반 소 프트웨어 모델
** 이벤트에 대한 응답으로 코드를 실행하고 자동으로 기본 컴퓨팅 리소스를 관리하는 서버리스 컴퓨팅 서비스
사례 2 : 슬랙에 ChatGPT 추가하기
다음 사례는 ChatGPT를 슬랙에 추가하는 것입니다. 우리는 채널 안에 상주하며 필요할 때 호출하여 질문할 수 있는 ChatGPT가 필요했습니다. ChatGPT를 슬랙 안에서 효율적으로 활용하려면 적어도 이 정도는 되어야 하지 않을까 하고 필수 기능을 정리해보았습니다.
• 단순히 하나의 질문에 답변하는 것이 아닌 대화의 맥락 유지 필요
• 채널의 모든 메시지를 가져갈 필요는 없음
• 필요한 경우에만 간편하게 호출
• ChatGPT의 답변과 사용자의 메시지 등이 혼재되어 혼란스럽지 않도록 기능 구현
필수 기능이 정해지니 ChatGPT를 어떻게 채널 안에서 자연스럽게 작동시킬지 정리되었습니다. 아래는 우아한형제들에서 슬랙에 ChatGPT를 추가한 기본 흐름입니다.
{
"model": "gpt-3.5-turbo",
"messages": [{"role": "user", "content": "Hello!"},
{"role": "assistant", "content": "Hello there, how may I assist you today?"}]
}
바로 위 내용이 새롭게 출시된 API의 주요 파라미터이며 이전과 다르게 prompt가 아닌 messages라는 리스트 형태의 값을 받는 것을 확인할 수 있습니다. messages 리스트 안의 각각의 인자는 role과 content라는 키를 갖는 딕셔너리 형태이고 이 값을 계속 추가하여 기존의 맥락을 유지한 채 API를 호출할 수 있었습니다. 다음은 파이썬으로 제작된 messages 리스트를 생성하는 함수입니다.
def getMsgList():
messages = []
for slackMsg in slackMsgs:
message = {}
if isGPTBot():
message["role"] = "assistant"
message["content"] = slackMsg["text"]
else:
message["role"] = "user"
message["content"] = slackMsg["text"]
messages.append(message)
return messages
GPT 봇이 남긴 메시지라면 role을 assistant로 설정하고 메시지를 content에 추가한 후 messages 리스트에 추가합니다. 반대로 사용자가 남긴 메시지라면 role을 user로 설정하고 마찬가지로 메시지 내용을 content에 추가합니다. 이렇게 구성한 messages 리스트를 파라미터로 추가하고 Create chat completion API를 호출하면 맥락에 맞는 답변을 제공합니다.
• 실제 작동 사례 •
◆◆◆
지금까지 적용한 ChatGPT 기술은 우리 회사의 업무 프로세스에 도움이 되었고, 앞으로 다양한 방면에서 활용 가능성이 열려 있습니다. 아직 완벽하지는 않지만 지속적인 개선을 통해 업무 환경에 더욱 맞춤화된 인공지능을 구축할 것입니다. 대화형 인공지능의 성능에 감탄했으며, 기술 발전 속에서 책임감 있는 사용과 관리가 중요해질 것이라 생각합니다.
저자 우아한 형제들
우아한형제들은 배달이 일상을 조금 더 행복하게 하도록 오늘도 달리고 있습니다. 평범한 사람들이 모여 비범한 성과를 만들어 내는 곳이될 수 있도록 건강한 조직문화를 만드는 일에 진심을 다합니다. 2016년부터 ‘우아한형제들 기술블로그’를 운영하며 개발 조직의 성장 과정을 기록하고 있습니다.
