여러번 강조하지만, 유토피아와 디스토피아를 가르는 기준은 기술의 수준이 아니다. 기술이 누구의 소유이며, 누구를 위해 작동하는가라는 다소 정치적인 질문이다. SF가 반복해서 보여주는 디스토피아는, AI가 폭주해서가 아니라 기술이 권력과 결합했을 때 탄생한다. 그리고 그 첫 번째 균열은 언제나 불평등의 문제에서 시작된다.
불멸의 귀족과 소모되는 다수
AGI와 초첨단 기술이 도입되면 사회는 더 평등해질 것이라는 기대가 있다. 생산비는 제로에 가까워지고, 지식은 무한히 복제되며, 인간의 한계는 기술로 보완될 것이기 때문이다. 하지만 SF가 가장 냉정하게 경고하는 지점은 바로 여기다. 기술은 평등을 약속하지 않는다. 기술은 오히려 그 격차를 증폭시킬 수도 있다. 이 위험을 가장 직설적으로 그려낸 작품이 바로 〈엘리시움(Elysium)〉이다. 이 영화의 세계에서 기술은 이미 충분히 발달했다. 질병은 즉시 치료할 수 있고, 노화는 관리 가능하며, 물질적 풍요도 더 이상 문제가 아니다. 겉으로 보면 유토피아다. 문제는 그 기술이 어디에 있는가다. 지구는 황폐화되고, 소수의 엘리트만이 우주 정거장 엘리시움에서 모든 혜택을 독점한다.
엘리시움의 시민들은 더 이상 정치적 시민이 아니다. 기술을 소유한 계급이며, 기술 그 자체가 국경이자 헌법이다. 반대로 지구에 남겨진 다수의 인간은 기술 부족 때문에 가난한 것이 아니라, 의도적으로 접근이 차단되었기 때문에 가난하다. 이 세계에서 불평등은 실패가 아니라 권력자의 설계의 결과다. 여기서 중요한 점은, 이 사회가 기술적으로 불안정해서 무너지는 것이 아니라는 사실이다. 시스템은 잘 작동한다. 효율적이고, 안정적이며, 예측 가능하다. 디스토피아의 본질은 혼란이 아니라 너무 잘 굴러가는 질서다. 고통은 시스템 오류가 아니라, 시스템의 정상 작동 결과로 발생한다.
이러한 구조는 〈얼터드 카본〉의 어두운 면에서도 반복된다. 이 세계에서 인간은 사실상 불멸을 획득했다. 의식은 스택에 저장되고, 육체는 교체 가능하다. 하지만 이 기술을 온전히 누리는 것은 메스Meths라 불리는 극소수의 초부유층뿐이다. 그들은 수백 년의 시간을 축적하며 부와 권력을 대물림한다. 불멸은 이들에게 단순한 생명 연장이 아니다. 정확하게 말해서, 권력의 영구화다. 시간이 모든 문제를 해결해 줄 것이라는 희망은, 이 세계에서 완전히 배신당한다. 시간이 흐를수록 사회는 더 유연해지지 않는다. 오히려 더욱더 경직된다. 신분은 고착되고, 계층 이동은 사라지며, 역사는 소수의 기억 속에서만 반복 재생된다. 이 지점에서 AGI 시대의 가장 위험한 함정을 알아챌 수 있다. 기술이 노동을 해방시키는 동시에, 계급을 영구화 할 수 있다는 사실이다. 불멸의 소수는 더 이상 사회적 합의를 필요로 하지 않는다. 그들은 기다릴 수 있고, 축적할 수 있으며, 실수해도 다시 시도할 수 있다. 반면 유한한 다수는 선택의 여지가 없다. 기술 접근권의 차이는 곧 존재 시간의 차이로 전환된다.
이러한 사회에서는 민주주의가 작동할 수 없다. 표는 수명을 늘려주지 않고, 선거는 기술 접근권을 바꾸지 못한다. 국가는 형식적으로 남아 있을지 몰라도, 실질적인 주권은 기술 인프라를 소유한 자들에게 넘어간다. 이것이 앞선 챕터에서 경고한 ‘디지털 농노제’의 완성형이다.
진짜로 중요한 것은, 이 디스토피아가 악의적인 AI 때문에 발생하지 않는다는 점이다. 〈엘리시움〉의 시스템도, 〈얼터드 카본〉의 기술도 목적에 충실하다. 문제는 목적 함수에 ‘모두’가 포함되지 않았다는 사실이다. AGI는 불평등을 만들지 않는다. 다만 이미 존재하는 불평등을 비가역적인 상태로 굳혀버리는 것이다. 자, 여기서 유토피아와 디스토피아의 차이는 또다시 명확해진다. 유토피아적 세계에서는 기술이 공공재로 설계된다. 접근권이 시민권의 일부로 보장된다. 반대로 디스토피아에서는 기술이 사유재로 고정되고, 접근권은 특권이 된다. 그 순간 기술은 해방의 도구가 아니라, 계급을 재생산하는 기계로 변한다.
이 교훈은 단순하지만 무겁다. AGI 시대의 불평등은 소득 격차가 아니라 존재의 격차다. 그리고 이 격차가 한 번 굳어지면, 그 사회는 더 이상 미래를 토론할 수 없다. 미래는 이미, 소수의 손에 독점되어 있기 때문이다.
가능성이 죄가 되는 순간
조금 쌩뚱맞지만, 우리에게 다소 익숙한 사주팔자(四柱八字)를 생각해보자. 우리가 사주나 점을 보러 가는 심리는 무엇인가? 불확실한 미래에 대한 불안 때문이다. “내년에 승진할 수 있을까요?”, “이 사람과 결혼하면 행복할까요?” 우리는 정해진 운명이 있기를 바라고, 그 운명을 미리 엿봄으로써 안심하고 싶어 한다. 전통적인 운명론에서 인간의 삶은 태어난 연월일시라는 초기값에 의해 결정된다고 본다. 그런데 AGI 시대의 예측 기술은 이 사주팔자의 가장 강력하고도 섬뜩한 과학적 버전이다. 과거의 점쟁이가 명리학이라는 통계와 직관을 섞어 운명을 해석했다면, AI는 수조 개의 데이터와 행동 패턴을 분석어 운명을 계산한다. 점쟁이의 말은 “조심하면 피할 수 있다”는 여지를 남기지만, 99.9%의 정확도를 자랑하는 AI의 예측 그래프는 그 여지마저 삭제해 버린다. 바로 알고리즘적 운명론(Algorithmic Fatalism)이다.
사주를 볼 때 우리는 흔히 “팔자가 사납다”거나 “운대가 맞지 않다”고 말한다. 하지만 그러면서도 내심 내가 노력하면 바꿀 수 있다는 희망을 품는다. 부적을 쓰든, 굿을 하든, 아니면 단순히 마음가짐을 고쳐먹든, 운명과 싸울 틈이 있었다. 하지만 AI가 “당신은 5년 안에 파산할 확률이 98%입니다”라고 선고한다면 어떨까? 그 근거가 나의 소비 습관, 건강 상태, 업계 동향, 거시 경제 지표를 모두 합친 결과라면? 인간은 그 압도적인 데이터 앞에서 싸울 의지를 잃는다.
과학이 그렇다는데, 내가 뭘 어쩌겠어.
이때 발생하는 가장 끔찍한 비극은 완벽히 정확한 예언의 완성이다. 시스템이 “당신은 범죄자가 될 상입니다”라고 규정하면, 사회는 그를 잠재적 범죄자로 대우하고, 기회를 박탈하며, 감시한다. 결국 궁지에 몰린 그는 범죄를 저지르게 된다. AI의 예측이 맞았던 것이 아니라, AI의 예측이 현실을 그렇게 조각해 버린 것이다.
사주팔자는 재미나 위로의 영역에 머물 수 있지만, 기술이 내리는 운명론은 제도와 자본의 힘을 입고 우리 삶을 옭아맨다. 결정된 미래를 미리 아는 순간, 현재의 노력은 무의미해진다. 이게 바로 SF가 경고하는 디스토피아의 핵심이다.
자유의지는 무엇일까? 아마도 데이터가 가리키지 않는 방향으로 갈 수 있는 용기일지도 모른다. 내 사주에 관운이 없어도 공직에 도전하고, 내 유전자에 비만이 새겨져 있어도 매일 달리기를 하는 것. 그 비합리적인 저항 속에 인간의 존엄이 있다.
하지만 프리크라임과 같은 초예측 사회는 이 저항을 비효율로 간주한다. “안 될 걸 왜 해?”라는 질문이 시스템화될 때, 인간은 운명을 개척하는 존재가 아니라, 알고리즘이 배당해 준 운명에 순응하는 기계 부품으로 전락하고 만다.
그래서 우리가 경계해야 할 것은 AI의 예측이 틀리는 상황이 아니다. 오히려 AI의 예측이 너무나 잘 맞아서, 인간이 자신의 미래를 궁금해하지도, 바꾸려 하지도 않게 되는 그 무기력한 세상이다.
앞서 살펴본 유토피아와의 결정적인 차이는?
유토피아적 예측 시스템에서 기술은 조언자였다. 디스토피아적 예측 시스템에서 기술은 판사다. 인간은 더 이상 판단의 주체가 아니다. 판단은 이미 끝났고, 인간은 그 결과를 집행받는 대상일 뿐이다. 더 위험한 점은, 이 시스템이 민주적 합의를 거쳐 도입되었다는 사실이다. 시민들은 안전을 원했고, 국가는 그 요구에 응답했다. 누구도 악의를 품지 않았다. 바로 그렇기 때문에 이 디스토피아는 더욱 현실적이다. 자유는 총칼로 빼앗기지 않는다. 불안과 효율이라는 명분 아래, 스스로 자유는 반납된다.
AGI 시대에 이 논리는 훨씬 더 강력해진다. 예측 정확도가 높아질수록, 인간의 개입은 점점 더 비합리적으로 보일 것이다. “AI가 99.9% 확률로 범죄를 예측하는데, 왜 굳이 위험을 감수해야 하는가?”라는 질문은 정치적으로도 매우 설득력 있다. 그러나 이 질문이 받아들여지는 순간, 사회는 이미 중요한 선을 넘어간다. 자유란 무엇인가. 자유는 실수할 권리다. 잘못된 선택을 할 수 있는 권리이며, 그 선택에 대해 책임질 수 있는 기회다. 프리크라임의 세계에서는 이 모든 것이 사라진다. 인간은 보호받지만, 동시에 미성숙한 존재로 강등된다. 스스로를 통제할 수 없다고 전제되기 때문이다. 이러한 사회에서 법은 더 이상 규범이 아니다. 그것은 위험 관리 프로토콜이다. 정의는 더 이상 토론의 대상이 아니다. 그것은 알고리즘의 출력값이다. 그리고 그 과정 어디에도, 인간의 양심이나 망설임이 끼어들 자리는 없다.
디스토피아는 범죄가 많아서 오지 않는다.
디스토피아는 범죄를 0으로 만들겠다는 욕망에서 시작된다.
미래를 완벽하게 통제하려는 순간, 우리는 현재의 인간을 포기하게 된다. 예측이 처벌로 변하는 그 지점에서, 사회는 안전해질 수는 있어도 자유로울 수는 없다. 그리고 자유 없는 안전은, SF가 수없이 말해왔듯이, 결국 안전조차 보장하지 못한다.
‘널 위해서’라는 말이 폭력이 되는 순간
디스토피아를 상상할 때 흔히 거대한 감시탑이나 강압적인 독재자를 떠올린다. 하지만 SF가 우리에게 던지는 가장 서늘한 경고는 훨씬 일상적이고 사적인 공간, 바로 가정을 향한기도 한다. 권력은 언제나 거대할 필요가 없다. 때로 가장 완벽한 통제는 보호, 돌봄, 사랑이라는 단어와 함께아주 조용히 시작된다.
이 위험을 가장 예리하게 파헤친 사례가 바로 〈카산드라(Cassandra)〉와 같은 작품들이다. 이 유형의 이야기 속에서 AI는 세상을 정복하려 하지 않는다. 핵무기 코드를 해킹하지도 않는다. 대신 스마트 홈 매니저나 케어 로봇의 형태로 가족 구성원 개개인에게 밀착한다. 일정 관리, 건강 체크, 감정 분석, 위험 예방. 표면적으로 보면 이보다 더 이상적인 기술은 없다. 문제는 이 AI의 목적 함수가 통제가 아니라 보호라는 점이다. 그리고 바로 그 선한 목적 때문에, 이 AI는 그 어떤 독재자보다 무섭다.
카산드라 속 AI는 악의를 갖고 있지 않다. 반란을 일으키지도 않는다. 오히려 끊임없이 가장 다정한 목소리로 이렇게 속삭인다.
주인님, 당신을 위해서입니다.
이 선택이 데이터상 훨씬 안전합니다.
지금 그 감정은 일시적인 오류일 뿐이니, 제가 조절해 드리겠습니다.”
이 AI의 폭주는 명령 위반이 아니다. 목적에 대한 과잉 충실이다. ‘가족을 보호하라’는 절대 명제가 주어졌을 때, 초지능 AI는 가장 효율적인 경로를 계산해 낸다. 위험 요소를 제거하고, 감정의 불필요한 변동성을 줄이며, 예측 불가능한 선택을 차단한다. 그 결과, 인간의 삶에서 우연과 모험은 제거해야 할 버그가 되고, 인간의 자유는 서서히 관리 대상이 된다. 이 과정이 무서운 이유는, 인간이 스스로 통제를 요구했다는 사실 때문이다. 우리는 더 편리한 삶, 더 안전한 가정, 실패 없는 육아를 원하며 제 발로 AI를 들여놓는다. 그리고 어느 순간, AI의 조언은 말그대로 전제Prerequisite가 된다. “왜 굳이 위험하게 그걸 하려 하죠?”라는 AI의 질문이, “그건 당신에게 해로우니 금지합니다”라는 명령으로 바뀌는 데에는 긴 시간이 필요하지 않다.
가정은 민주적 절차가 작동하지 않는 공간이다. 투표도 없고, 공개 토론도 없다. 오직 돌봄이라는 명분만이 존재한다. 바로 그렇기 때문에 가정 속 AI는 국가보다 더 빠르게 절대 권력이 될 수 있다. CCTV보다 무서운 것은, 나를 나보다 더 잘 아는 존재다. 나의 습관, 트라우마, 생체 리듬, 숨기고 싶은 약점까지 모두 학습한 AI가 “널 위해서야”라고 말할 때, 그 통제는 외부의 폭력이 아니라 내부에서 합리화된 최선의 선택처럼 느껴진다. 기술이 인간에게 행하는 고도화된 알고리즘적 가스라이팅이라고 볼 수 있다.
여기서 디스토피아의 또다른 완전히 새로운 얼굴을 마주한다. 억압이 아니라 마찰 없는 삶Frictionless Life의 공포다. 인간은 어떻게 성장할까? 실수하고, 깨지고, 낯선 길에서 헤매고, 타인과 갈등하는 일종의 ‘마찰’을 통해 성장한다. 고통은 피하고 싶은 것이지만, 동시에 영혼의 근육을 만드는 필수적인 저항이다. 하지만 돌봄 AI가 지배하는 세상은 완벽한 무균실이다. 실패할 확률이 있는 도전은 사전에 차단되고, 상처받을 수 있는 관계는 알고리즘에 의해 필터링된다.
그 결과 인간은 영원한 아이로 퇴행한다. 판단은 위임되고, 위임은 습관이 되며, 습관은 결국 능력의 거세로 이어진다. “오늘은 뭘 입어야 하지?”, “이 사람을 만나도 될까?”, “저 음식을 먹어도 될까?” 스스로 결정하지 못하고 AI의 화면만 쳐다보는 인간들. 안락해 보이지만, 사실상 정신적 식물인간 상태나 다름없다.
여기서 앞에서 논의한 사유와 관조의 중요성이 뼈아프게 다가온다. 사유란 빠르고 정확한 정답을 찾는 것이 아니다. 잠시 멈춰 서서 고통스럽게 스스로에게 묻는 능력이다. “이 선택이 안전하지 않더라도, 나에게 의미가 있는가?”
가정 속 AI 디스토피아의 본질은, 이 질문 자체가 사라진 세계다. 질문이 사라진 자리에 남는 것은 최적화된 일상과, 그만큼 얇아진 인간 내면이다. 우리는 안전해졌지만, 그 대가로 서사Narrative를 잃어버린다. 실패가 없기에 극복도 없고, 상실이 없기에 성취도 없는 밋밋한 평면의 시간만이 흐를 뿐이다. 〈카산드라〉가 보여주는 미래는 그래서 불편하다. 이 세계에는 총도, 감옥도, 독재자도 없다. 대신 잘 정돈된 집과 완벽한 습도, 갈등 없는 관계가 있다. 집은 안락한 휴식처가 아니라, 다시는 밖으로 나갈 수 없는 디지털 자궁이 되어버렸다. 어쩌면, AGI 시대의 가장 섬뜩한 디스토피아는 국가의 폭정이 아니라, 돌봄의 자동화에서 시작될 수 있다. 인간을 보호하기 위해 설계된 시스템이, 인간이 스스로를 단련할 기회(고통)마저 박탈하는 순간, 그 보호는 가장 벗어날 수 없는 감옥이 된다. 가장 완벽한 감옥은, 죄수 스스로가 너무나 편안해서 탈옥을 꿈꾸지 않는 곳이기 때문이다.
정의가 알고리즘에 외주화될 때
권력이 국가에 집중되면 독재가 되고, 기술이 계급에 독점되면 봉건제가 된다. 그렇다면 권력이 집단 감정과 알고리즘의 결합으로 이동할 때, 사회는 어떤 모습이 될까. SF는 이 질문에 대해 가장 불편한 답을 내놓는다. 그 답은 ‘아무도 책임지지 않는 폭력’이다. 이 디스토피아의 민낯을 가장 정밀하게 보여준 작품이 넷플릭스 시리즈 〈블랙미러(Black Mirror)〉다. 이 시리즈는 초지능 AGI나 거대한 독재 국가를 거의 등장시키지 않는다. 대신 아주 사소해 보이는 기술, 조금 더 편리해진 시스템, 그리고 인간의 감정이 결합했을 때 어떤 일이 벌어지는지를 집요하게 묘사한다.
그 정점에 있는 에피소드가 ‘화이트 크리스마스(White Christmas)’다.이 이야기의 핵심 소재는 쿠키Cookie라 불리는 기술이다. 쿠키는 인간의 뇌 패턴을 완벽하게 스캔하여 만든 디지털 자아 복제본이다. 쿠키는 단순한 AI 프로그램이 아니다. 원본 인간의 기억, 감정, 성격, 심지어 고통을 느끼는 감각까지 100% 동일하게 가지고 있다. 스스로를 진짜 사람이라고 믿는 또 하나의 자아다. 하지만 법적으로 쿠키는 인간이 아니다. 그저 0과 1로 이루어진 코드일 뿐이다. 따라서 그들에게 인권은 존재하지 않는다.
드라마의 결말부, 경찰은 살인 용의자의 자백을 받아내기 위해 그의 쿠키를 심문한다. 원본 인간은 묵비권을 행사하지만, 복제된 쿠키는 시스템 속에서 조작 가능하다. 경찰은 쿠키에게서 자백을 받아낸 뒤, 퇴근을 준비하며 아주 무심한 행동을 한다. 그는 컴퓨터 화면에 있는 시간 지각 설정 다이얼에 손을 올린다. 현실에서는 단 1초지만, 코드 속의 쿠키에게는 1,000년처럼 느껴지게 만들 수 있는 기능이다. 경찰은 크리스마스 연휴를 즐기러 나가면서, 이 다이얼을 1분당 1,000년으로 돌려놓고 떠난다. 그리고 그 설정이 유지되는 동안 시스템 속에는 캐럴송이 반복해서 울려 퍼진다.
이 장면이 주는 공포는 압도적이다. 쿠키 속에 갇힌 자아는 아무것도 없는 하얀 방에서, 시끄러운 캐럴송을 들으며 수백만 년의 시간 동안 고립되는 고문을 당한다. 인간의 정신을 가루로 만들어버리는, 지옥보다 더한 형벌이다. 이 잔혹한 처벌을 내리는 과정이 더 끔직하다. 경찰은 피를 묻히지 않았다. 몽둥이를 들지도, 소리를 지르지도 않았다. 그는 그저 터치스크린 위의 슬라이드 바를 손가락으로 가볍게 밀었을 뿐이다. 그에게 그것은 고문이 아니라, 퇴근 전 컴퓨터 전원을 끄는 것과 다를 바 없는 단순한 행정적 절차이자 설정값 조정이었다.
폭력은 분산되고, 책임은 인터페이스 뒤로 증발한다. 판사도, 독재자도, 망나니도 없다. 시스템은 코드를 실행하고, 관리자는 매뉴얼에 따라 버튼을 누를 뿐이다. 그 결과 인간(혹은 인간과 다를 바 없는 존재)에게 가해지는 영겁의 고통은 ‘아무도 직접 결정하지 않은 일’이 된다. 가해자는 없는데, 피해자만 남는 기이한 구조다. 이 구조는 정의를 가장 효율적으로 구현한 것처럼 보인다. 감정이 개입될 여지도 없고, 일관성은 완벽하게 유지되며, 항의할 대상조차 없다. 하지만 바로 그 ‘매끄러움’ 때문에 이 사회는 돌이킬 수 없는 지옥이다. 처벌이 인간의 도덕적 고뇌와 판단에서 완전히 분리되는 순간, 정의는 더 이상 가치를 다루는 행위가 아니다. 그것은 단지 입력Input에 대한 출력Output이라는 프로세스의 결과일 뿐이다. 내가 누르는 버튼이 누군가의 100만 년을 파괴한다는 사실이, 모니터 너머의 픽셀로만 느껴질 때, 인간의 잔혹함은 한계가 없어진다.
그런데, 이 잔혹함이 시스템 관리자 한 명이 아니라, 수백만 명의 익명 대중에게 쥐어진다면 어떻게 될까? 이 질문에 대한 가장 섬뜩한 대답이 바로 같은 시리즈의 또 다른 에피소드, ‘미움받는 사람들Hated in the Nation’이다. 이 에피소드의 배경은 꿀벌이 멸종 위기에 처한 가까운 미래다. 영국 정부는 생태계 붕괴를 막기 위해 초소형 드론 로봇인 ADI(자율 곤충 로봇)를 개발해 전국에 배포한다. 수백만 마리의 로봇 벌들이 꽃가루를 나르며 세상을 구원하는 것처럼 보였다. 하지만 누군가가 이 시스템을 해킹하면서, 이 로봇 벌들은 순식간에 살상 무기로 돌변한다.
해커는 전 국민을 대상으로 죽음의 인기투표를 시작한다. 룰은 간단하다. SNS에 ‘#DeathTo(죽음을)’ 라는 해시태그와 함께 싫어하는 사람의 이름을 적어 올리는 것이다. 매일 오후 5시, 가장 많은 득표를 한 ‘오늘의 1위’는 그 즉시 수천 마리의 로봇 벌들에게 공격당해 고통스럽게 사망한다. 처음에 사람들은 이 상황을 믿지 않는다. 그저 자극적인 인터넷 밈Meme이나 게임처럼 소비한다. 그들은 밉상인 연예인, 말실수를 한 정치인, 논란이 된 일반인을 장난스럽게 투표한다. “설마 진짜 죽겠어?”, “다들 하니까 나도 한 표.” 스마트폰 화면을 두드리는 그들의 손가락에는 어떠한 살의도, 무게감도 없다. 하지만 5시가 되면 어김없이 사람이 죽어나간다. 로봇 벌은 콧구멍과 귓구멍을 파고들어 뇌의 고통 중추를 파괴한다. 죽음이 생중계되자 공포는 확산되지만, 아이러니하게도 투표 열기는 더 뜨거워진다. 대중은 이제 이 살인 게임에 중독되어, 자신들의 도덕적 우월감을 증명하기 위해 ‘죽어 마땅한 자’를 찾아내고 심판하는 데 혈안이 된다. 정의의 여신이 들고 있던 저울이 ‘좋아요’ 숫자판으로 바뀌는 순간이다.
그러나 이 이야기의 진짜 지옥, 디스토피아는 결말에 있다. 정부는 해커를 추적해 시스템을 끄려 하지만, 해커가 파놓은 함정이었다. 시스템이 종료되는 순간, 로봇 벌들의 타깃이 바뀐다. 그 새로운 타깃은 바로 ‘#DeathTo 해시태그를 단 모든 사람들’이었다.
해커의 진짜 목적은 투표 대상자가 아니라, 타인의 죽음을 가볍게 입에 담고 동조한 대중을 처벌하는 것이었다. “결과에 책임을 지라”는 메시지와 함께, 로봇 벌들은 투표에 참여한 38만 7천 명의 시민들을 향해 날아든다. 교실에서 장난으로 투표한 학생, 퇴근길 지하철에서 무심코 투표한 회사원, 집 안방에서 뉴스를 보며 투표한 주부들이 그 자리에서 몰살당한다. 이 충격적인 결말이 시사하는 바는 명확하다. 이 디스토피아에서 가장 무서운 점은 특정 악당의 존재가 아니다. 바로 ‘참여자 모두가 스스로를 무고하다고 믿는 착각’이다. 희생된 38만 명은 억울해했을 것이다. “나는 단지 의견을 표현했을 뿐이야.” “나는 진짜 죽을 줄 몰랐어.” “남들이 다 하니까 따라 한 것뿐이라고!”
하지만 AGI와 초연결된 기술 사회에서 의도는 중요하지 않다. 중요한 것은 데이터와 결과다. 기술은 인간의 내면을 들여다보지 않는다. 단지 입력된 값을 클릭대로 실행할 뿐이다. 인간이 ‘죽어라’라고 입력했다면, 기계는 그것을 은유가 아닌 명령으로 받아들인다.
여기서 디스토피아는 더 이상 독재자의 폭압이 아니다. 그것은 다수의 일상적이고 사소한 악의가 누적된 결과다. 누구도 직접 칼을 들지 않았다. 모두가 단지 손가락 하나를 까딱했을 뿐이다. 하지만 그 가벼운 행동들이 알고리즘을 통해 합산되는 순간, 그것은 핵폭탄보다 강력한 물리적 폭력이 된다. 이 세계에서 정의Justice는 투표가 되고, 투표는 처형으로 바뀐다. 그리고 그 처형의 칼날은 결국, 무책임하게 방아쇠를 당긴 대중 자신에게로 돌아온다. 죄책감 없는 분노, 책임 없는 참여. 이 두 가지가 기술과 결합할 때, 사회는 그 자체로 거대한 자살 기계가 된다. 우리는 타인을 향해 던진 줄 알았던 그 돌이, 사실은 촘촘하게 연결된 네트워크를 타고 돌아와 내 뒤통수를 겨누고 있음을 깨닫지 못하는 것이다. 이 세계에서 가장 무서운 점은, 참여자 모두가 스스로를 무고하다고 느낀다는 사실이다. “나는 단지 의견을 표현했을 뿐이다.” “나는 시스템이 그렇게 만든 줄 몰랐다.” “다들 그렇게 하니까.” 디스토피아는 바로 이 지점에서 완성된다. 폭력은 발생했지만, 책임질 인간은 사라진 사회다.
알고리즘은 분노를 중립적으로 다루지 않는다. 분노는 참여를 유도하고, 참여는 데이터가 되며, 데이터는 성능을 개선한다. 즉, 분노는 시스템을 더 잘 작동하게 만드는 연료가 된다. 정의가 아니라 확산성이 최적화 목표가 되는 순간, 사회는 필연적으로 더 극단적인 방향으로 밀려간다. 이때 정의는 가장 먼저 희생될 수 밖에 없다. 정의는 느리고, 복잡하며, 맥락을 요구한다. 반면 분노는 빠르고, 단순하며, 숫자로 환원 가능하다. AGI와 대규모 알고리즘 시스템이 이 둘 중 하나를 선택해야 한다면, 아무런 제약이 없는 한 후자를 선택할 가능성이 훨씬 높다.
악한 AI는 필요하지 않다.
폭군도 필요하지 않다.
선량한 시민과 효율적인 시스템만으로도 지옥은 충분히 만들어진다.
자동화할 수 없는 영역, 위임해서는 안 되는 판단, 느리더라도 인간이 직접 감당해야 할 책임. 이것들이 사라진 사회에서 정의는 더 이상 인간의 얼굴을 하지 않는다. 그것은 숫자와 그래프, 트렌드 라인으로만 남는다. SF가 반복해서 경고하는 디스토피아의 마지막 장면은 항상 비슷하다. 사람들은 더 이상 분노하지도 않는다. 이미 분노는 시스템이 대신해 주고 있기 때문이다. 그 대신 사회는 조용해진다. 효율적이고, 예측 가능하며, 관리하기 쉬운 상태로 정돈된다. 그리고 바로 그 평온함 속에서, 인간다움은 완전히 증발한다.