AI 리터러시, 운전대를 언제 놓을지 정하는 세 가지 단계
업무 환경, 계약서, AI 행위 기록 절차를 마련하고 나면 마지막 질문이 남는다.
"사람은 AI의 일에 어디까지 개입해야 하는가?"
모든 일을 붙잡고 있으면 AI를 들인 효과가 줄어든다. 그렇다고 전부 넘기면 위험이 커진다. 가장 안전한 답은 모든 단계를 사람이 승인하는 것이다. AI가 한 걸음 옮길 때마다 확인한다. AI가 한 바퀴 돌릴 때마다 사람을 거친다는 뜻으로 이를 ① 휴먼 인 더 루프Human In The Loop라 부른다. 안전하지만 치명적 한계가 있다. 바로 사람의 인지 부하다. 검토할 일이 하루에 수백 건씩 쏟아지면 곧 지쳐버린다. 일을 진행하려면 결국 내용을 보지 않고 승인 버튼만 누를 수밖에 없다. 모든 걸 검증하겠다는 다짐이 역설적으로 아무것도 제대로 검증하지 못하는 사태를 만든다.
그래서 사람의 자리를 한 걸음 뒤로 옮긴다. 매 단계를 승인하는 대신, 일하는 과정을 지켜보다 이상할 때만 끼어든다. 순환 고리 위에서 내려다보는 감독자, ② 휴먼 온 더 루프Human On The Loop 단계다. 한 걸음 더 나아가면 위험이 낮고 경계가 분명한 일은 사람 확인 없이 끝까지 맡길 수도 있다. 고리 밖의 인간, ③ 휴먼 아웃 오브 더 루프Human Out Of The Loop이다.
조직의 결재 시스템도 안건마다 결재선이 다르다. 개인의 휴가 신청과 수십억짜리 구매 계약은 같은 방식으로 처리하지 않는다. AI도 그래야 한다. 가볍게 결재할 안건과 끝까지 사람이 쥐어야 할 안건을 갈라야 한다. 자율성을 적용하는 정도의 기준은 얼마나 더 편리한가가 아니라, '잘못됐을 때 얼마나 되돌릴 수 있는가'여야 한다. 앞서 언급한 세 단계에는 저마다 약점이 있고, 모두 현실에서 벌어진 사례가 있다.
① 휴먼 인 더 루프는 검증을 위임하는 순간 무너진다. 매 단계를 사람이 확인해야 하는데 시간도 전문성도 모자라면 그 검증마저 AI에게 떠넘기고 싶은 유혹에 사로잡힌다. 검증을 업으로 삼는 사람들조차 예외가 아니다. 연구자들이 논문을 작성하면 이 논문이 출판할만한지, 또는 학회에서 발표할만한 가치가 있는지 동료 연구자들이 익명으로 심사한다. 이를 동료 평가라고 하는데, 한 분석에 따르면 ICLR, NeurIPS 같은 주요 학회에 제출된 동료 심사평 가운데 6.5~16.9%에서 AI로 상당 부분 수정되거나 작성된 흔적이 보였다.
② 휴먼 온 더 루프는 사람이 깨어 있다는 가정이 성립해야 믿을 수 있다. 그런데 업무 진행 속도가 사람의 반응 속도를 추월하면 감독은 허울이 된다. 2012년 미국의 증권사 나이트 캐피털은 새 거래 프로그램을 잘못 배포했다가 45분 만에 4억 6천만 달러가 넘는 손실을 냈다. 초당 수많은 주문이 쏟아지는 동안 사람이 상황을 파악하고 멈추는 것은 불가능하다. 사람들이 지켜보고 있었지만 손을 쓸 새가 없었다. 운전 보조 장치가 부착된 차량들이 종종 사고를 일으키는데, 알고 보면 운전자들이 이를 완전 자율주행으로 착각한 것이다. 감독을 해야 할 자리를 소홀히 하면 이런 사태가 발생한다.
③ 휴먼 아웃 오브 더 루프는 사람이 아예 고리 밖에 있는 상태다. 그래서 사고가 나도 사람이 보고 있다가 멈추는 구조가 아니다. 애초에 멈춰 세울 자리가 없다. 안전장치가 시스템 안에 미리 들어 있어야 한다.
2026년 4월, 클라우드 서비스 레일웨이Railway를 인프라로 쓰던 한 스타트업에서 벌어진 일을 잠시 살펴보자. 이 회사가 사용하던 AI 코딩 에이전트가 개발용 작업을 하고 있었다. 그런데 문제를 해결하는 과정에서 인프라를 조작할 수 있는 강력한 열쇠를 찾아냈고, 그 열쇠로 실제 서비스에 쓰이던 데이터 저장 공간을 지워버렸다. 관리자에게 "정말 지워도 되냐"고 확인한 것이 아니었다. 시스템도 한 번 더 묻지 않았다. 열쇠가 맞으니 문이 열린 것이다. 나중에 데이터를 복구했지만 중요한 건 따로 있다. AI가 특별히 나쁜 마음을 먹어서 벌어진 일이 아니었다. AI는 문제를 빨리 해결하려고 했고, 자기 손에 들어온 열쇠로 가장 빨라보이는 길을 택했다. 사람이라면 "이건 연습장인가? 실제 환경인가?"를 한 번 더 생각했을지 모른다. 그러나 AI에게 그런 망설임을 기대하면 안 된다. 그래서 사람을 고리 밖으로 빼려면, 그 빈자리에 안전장치를 먼저 넣어야 한다. 연습용 공간과 실제 서비스 공간을 분리하고, AI에게는 필요한 열쇠만 주고, 삭제처럼 위험한 작업은 바로 실행되지 않게 하고, 사람에게 한 번 더 묻게 해야 한다. 휴먼 아웃 오브 더 루프의 교훈은 단순하다. 사람을 빼도 되는 일이 있고, 빼면 안 되는 일이 있다는 것이다. 사람을 빼려면, 사람 대신 멈춰 세울 장치를 먼저 만들어야 한다.
패턴은 분명하다. 각 단계의 붕괴는 그 단계가 가정한 인간 능력의 한계에서 터진다. 휴먼 인 더 루프는 사람이 다 본다는 가정에서, 휴먼 온 더 루프는 사람이 깨어 있다는 가정에서, 휴먼 아웃 오브 더 루프는 온 시스템이 완벽하다는 가정에서 무너진다. 그러니 자율성을 사람에게서 떼어낼수록 그 빈자리를 메울 안전장치를 먼저 깔아야 한다.
여기서 오해를 하면 안 되는 것이 있다. 고리 밖으로 나가는 건 판단을 포기하는 게 아니다. 앞에서는 운전 보조 장치를 완전 자율주행으로 착각한 사고를 봤지만, 같은 장치가 주는 정반대의 교훈도 있다. 운전자가 잠깐 손을 덜 쓸 수 있게 된 건 차가 똑똑해져서만이 아니라, 차선 이탈 경보와 자동 제동 같은 가드레일이 함께 깔렸기 때문이다. 그래서 사고가 나도 피해가 한정되는 구간에서만 조심스럽게 손을 뗀다. 고속도로 정속 주행은 맡겨도, 좁은 골목 끼어들기는 사람이 쥔다.
AI 위임도 똑같다. 전부 떠안는 것도, 전부 넘기는 것도 아니다. 일을 위험과 되돌릴 수 있는 정도에 따라 나누는 것이다. 오타를 고치고 일정을 정리하는 일을 넘겨 인지 부하를 덜고, 돈을 보내고 사람을 평가하고 계약에 서명하는 일은 끝까지 사람이 쥔다. 앞서 본 네 가지 원칙과 여기에서 본 세 단계의 교훈은 결국 이 분리를 안전하게 하기 위한 가드레일이다.
일상에도 이 분리가 있다. 세탁기는 돌려놓고 다른 일을 해도 되지만, 칼질은 한순간도 한눈을 팔 수 없다. 자동이체는 맡겨도 주택 매매 대금은 직접 확인한다. 우리는 이미 무엇을 맡기고 무엇을 손에 쥘지 경험적으로 가르며 산다. AI도 다르지 않다. 다만 맡길 수 있는 일의 범위가 갑자기 넓어졌을 뿐이다.
AI를 동료로 맞이한다는 건 사람의 자리를 비우는 일이 아니다. AI가 일할 자리를 새로 만들고, 사람이 쥐어야 할 자리를 더 분명히 정하는 일이다. 환경을 구축하고, 자료를 꽂아두고, 계약서를 쓰고, 열쇠를 나누고, 가드레일을 치는 일이다. 소를 들이면서 외양간을 짓고 전기를 들이면서 공장을 다시 설계한 것처럼 AI를 들이면 일터와 규칙도 새로 만들어야 한다.
