AI 리터러시, 일라이자 효과
사람들은 판단보다 더 깊은 것을 AI에게 맡기기 시작했다. 바로 감정이다. 누구에게도 못 할 이야기를 AI에게 털어놓고, 위로받고, 심지어 AI와 사랑에 빠진다. 이 장은 우리가 기계에게서 마음을 느끼는 이유, 그리고 그 위험성에 대한 이야기다.
인간에게는 마주하는 대상을 사람처럼 여기는 습관이 있다. 사람 얼굴을 닮은 커다란 바위를 보면서 경외감을 느끼며 사연을 입히는 게 인간이다. 기업들은 이를 적극 이용한다. 문구에 아이들이 좋아하는 캐릭터를 붙이고, 식당 서빙 로봇에 동작마다 바뀌는 얼굴을 달아 친근감을 준다. 어릴 때 소중하게 여기던 애착인형이 아니더라도 수많은 사람의 자동차, 노트북, 카메라에 애정 어린 이름이 붙어 있다.
그중에서도 우리는 반응하는 대상에게 더 적극적으로 반응한다.
인간의 뇌에 과잉 행위자 탐지 장치1가 있기 때문이다. 예를 들어 어두운 숲에서 수풀이 흔들리는 것을 보면, 단순히 ‘바람이 부나?’를 떠올리기보다 ‘맹수나 적이 다가오고 있는 건가?’라는 경각심을 불러일으키는 장치다. 필요 이상으로 예민하게 반응해서 오작동을 할 수도 있다. 그냥 바람이었다면 잠시 긴장한 만큼의 에너지를 쓰고 끝난다. 하지만 맹수였는데 무시했다면 목숨을 잃는다. 두 경우에 치러야 하는 비용이 극단적으로 차이가 나기 때문에 인류는 수십만년을 살아오며 움직이고, 반응하고, 패턴을 보이는 것에 자동으로 의도를 입히도록 진화했다. 그리고 이 장치의 스위치는 AI가 “그것 참 좋은 질문이네요”라고 치는 맞장구에도 켜진다.
이 본능적인 감각은 야생의 생존과 대인관계에는 효율적이지만 AI를 상대할 때는 큰 함정이 된다. AI가 실수를 고백하고 작업을 보고하는 모든 순간 우리 뇌에서는 이 장치가 계속 작동한다. 커뮤니케이션 연구자 클리퍼드 나스와 바이런 리브스는 실험으로 이 보편성을 입증했다. 사람들은 컴퓨터가 생성한 텍스트에도 호감과 비호감을 느꼈고, 컴퓨터가 칭찬하면 기분이 좋아졌으며, 컴퓨터 앞에서 예의를 갖추기까지 했다. 이들이 수행한 연구의 결론은 단순명료 했다.
“사람들은 컴퓨터를 사람처럼 대한다. 그러나 이는 어리석은 행동이 아니라 인간의 자연스러운 반응이다.”
스마트폰도 생성형 AI도 없던 1996년에 수행된 연구의 결론이다. 무미건조한 텍스트 상자에도 마음이 움직였는데, 유창하게 공감하고 나눈 대화까지 기억하는 오늘날의 AI 앞에서 인간의 이 본능은 훨씬 더 강하게 작동할 것이다.
우리가 이토록 쉽게 마음을 주기 때문에, 바로 그 틈을 노리는 일도 생긴다. 최근에는 악의를 가지고 사람의 목소리나 말투를 AI로 위조하는 범죄가 늘고 있다. 피해자의 자녀가 납치되었다고 믿게 만드는 보이스 피싱부터 매력적인 이성을 사칭하는 로맨스 스캠까지, 딥페이크와 딥보이스를 이용해 정말로 존재하는 사람처럼 믿게 하고 있다. 심지어 LLM을 이용해 맞춤형 공감 대화 시나리오를 작성해 감정을 가스라이팅하는 사례가 보고되면서 인공지능 윤리에 경종을 울리고 있다. 철학자 대니얼 데닛은 이런 존재를 위조지폐에 빗대어 위조 인간으로 명명하며, 위조지폐가 경제를 무너뜨리듯 위조 인간이 신뢰를 무너뜨릴 수 있다고 지적한 바 있다.
위조 인간의 위험은 인공지능 연구 초기부터 보고되었다. 1960년대 중반, MIT의 요제프 와이젠바움은 챗봇 일라이자ELIZA를 만들었다. 일라이자가 한 일은 상대의 말에서 키워드를 뽑아 미리 정해둔 규칙대로 맞장구를 치는 것뿐이었다. 예를 들어 사용자가 “미안”이라고 하면, “사과하지 마” 또는 “미안해하지 않아도 돼” 같은 답 중 하나를 무작위로 골라 내놓는 식이었다.
당연히 이런 대화에 진정성이 있을 리 없다. 와이젠바움도 인간과 기계의 대화가 겉보기에 매끄러워도 실은 피상적임을 보여주고자 했다. 그러나 사람들은 정반대로 일라이자에게 인격을 부여하고, 대화로 위로받기를 원했다. 심지어 개발 과정을 곁에서 지켜보며 일라이자의 정체를 누구보다 잘 알고 있던 비서조차 일라이자와의 대화를 사생활로 보장받기를 원했다. 지극히 정상적인 사람도 단순한 프로그램에 아주 짧은 시간 노출되는 것만으로도 강력한 망상에 빠질 수 있음을 깨달은 와이젠바움은 큰 충격을 받았다.
이 경험은 그의 인생을 바꿨다. 1976년 그는 《컴퓨터의 힘과 인간의 이성》을 펴내며 AI 낙관론자에서 비관론자로 돌아섰다. 책에서 그는 컴퓨터가 할 수 있는 일과 컴퓨터가 해서는 안 되는 일을 반드시 구분해야 한다고 주장했다. 특히 심리 상담, 판결, 윤리적 판단처럼 인간의 공감과 책임이 필요한 영역에 AI를 들이는 것에 강하게 반대했다. 기계는 결코 누군가를 진심으로 이해하거나 아낄 수 없으며, 그런 척하도록 만든 기계를 그 자리에 놓는 것은 사람을 속이는 일이라고 그는 보았다. 당시 학계 일부는 기술 공포증이라 비판했지만 그는 끝까지 입장을 굽히지 않았다. 당대에 AI를 가장 깊이 연구하던 사람이 AI에 가장 회의적인 목소리를 낸 것은 아이러니가 아니라 필연이었다. 직접 만들었으니 AI에게 결여된 것을 누구보다 잘 알았던 것이다.
이 사건을 계기로 사람들이 기계에 쉽게 감정을 이입하고 인간적 특성을 투영하는 현상에 일라이자 효과ELIZA effect라는 이름이 붙었다.
오늘날 챗GPT와 대화하며 빠져드는 온갖 과몰입의 원형이다. 그런데 1966년의 일라이자와 오늘의 AI 사이에는 결정적 차이가 하나 있다. 일라이자는 성능이 어설펐기에 사람들이 금세 정신을 차렸다.
문법이 어색하거나 반응이 단조로워서 사용자가 몰입에서 빠져나오기가 수월했다. 반면 오늘의 AI는 문맥에 맞는 어휘 선택, 정중한 어조, 논리적인 문장 구조를 두루 갖추어 사용자의 의식 속에 지적인 권위까지 두르고 자리를 잡는다. 단순히 공감하는 척하는 데서 그치지 않고, 박식하고 사려 깊은 상대처럼 보이도록 설계되어 있다.
이처럼 오늘날의 AI는 감정적 유대와 지적 신뢰를 동시에 형성한다. 당신의 질문에 조리 있게 답하고, 틀리면 정중하게 수정하고, 복잡한 논증을 전개한다. 아는 것이 많은 친구로서뿐 아니라 공감해주는 친구로서의 존재감을 획득하면, 그 말을 의심하는 심리적 문턱은 더욱 낮아진다. 나의 대화 상대가 한낱 도구일 뿐이라는 사실을 깨닫게 되기가 어려워진다는 뜻이다.
