규칙 기반(룰 베이스)는 왜 망했을까?
아이에게 자전거 타는 법을 가르칠 때를 떠올려보세요.
"페달을 밟기 전에 먼저 균형을 잡아. 핸들은 너무 세게 잡지 말고, 속도가 붙으면 발을 떼면 안 돼. 넘어질 것 같으면 브레이크를 잡으면서 한쪽 발을 땅에 딛어."
이렇게 일러주고는 자전거 뒤를 붙잡고 출발합니다. 그런데 신기한 일이 벌어지죠. 아이는 제가 알려준 규칙들을 하나도 기억하지 못하는 것 같은데, 넘어지고 또 넘어지고, 무릎에 생채기가 날 만큼 타다보면 어느 날 갑자기 혼자서 씽씽 달리기 시작합니다.
규칙 기반 AI는 경우의 수가 제한적일 때 유용하지만, 한계도 있어요.
아이는 규칙을 외워서 타는 게 아닙니다. 수십 번의 시행착오를 몸으로 겪으면서 스스로 균형 잡는 법을 터득한 거죠. 사람이 정한 규칙대로 움직이는 인공지능과 수많은 시행착오를 통해 혼자 학습하는 머신러닝 인공지능의 차이가 이런 겁니다.
▸ 인류 최초의 AI : 규칙으로 세상을 흉내내다
인공지능이라는 말을 들으면 이제 많은 분들이 챗GPT나 제미나이i를 떠올리실 겁니다. 하지만 인공지능의 출발점은 훨씬 소박했습니다. 1960년대, 컴퓨터가 인간의 일을 조금씩 대신해주기 시작할 무렵, 과학자들은 단순하지만 강력한 아이디어를 떠올렸습니다. '인간 전문가의 지식을 컴퓨터에 그대로 집어넣으면 인공지능이 되지 않을까?' 이렇게 탄생한 것이 바로 규칙 기반 시스템, 혹은 전문가 시스템입니다.
작동 방식은 놀랍도록 단순합니다. 전문가에게 '어떤 상황에서 어떤 판단을 내리십니까?'를 물어보고, 그 답을 IF-THEN(만약-그렇다면) 형태로 코딩합니다. '만약 환자의 체온이 38도 이상이고, 목이 붓고, 기침이 나온다면 → 해열제를 처방한다'는 식이죠.
1970년대 미국 스탠퍼드 대학교에서 개발한 의료 전문가 시스템 마이신MYCIN은 약 450개의 규칙만으로 감염성 질환을 진단했는데, 그 정확도가 당시 일반 의사들의 평균을 뛰어넘을 정도였습니다. 기업 현장에서도 DEC사의 엑스콘이라는 시스템이 연간 4천만 달러에 달하는 비용을 절감하며 AI의 실질적 가치를 증명했습니다.
우리 일상에서도 규칙 기반 시스템은 지금도 활발히 쓰이고 있습니다. 매일 사용하는 이메일의 스팸 필터가 대표적입니다. '광고'나 '이벤트' 같은 문구가 들어있으면 스팸으로 분류하라는 규칙이 여러분의 메일함을 지키고 있죠. 은행의 대출 심사 시스템도 마찬가지입니다. 규칙이 명확하기 때문에 결과를 투명하게 설명할 수 있고, 사람이 직접 확인하고 추적할 수도 있다는 것이 이 방식의 큰 장점입니다.
▸ 규칙으로는 절대 담을 수 없는 것들 : 세상은 IF-THEN만으로 설명되지 않는다
1980년대 후반, 규칙 기반 시스템은 치명적인 한계에 부딪히기 시작했습니다. 문제는 세상이 생각보다 훨씬 복잡하다는 것이었습니다.
고양이와 개를 구별하는 프로그램을 만든다고 해봅시다. '귀가 뾰족하면 고양이다'라는 규칙을 만들면, 귀가 접힌 스코티시 폴드는 어떻게 하죠? '털이 없으면 고양이가 아니다'라는 규칙을 추가하면, 털 없는 스핑크스 고양이는요? 규칙을 추가할 때마다 새로운 예외가 생기고, 그 예외를 막으려다보면 또 다른 규칙이 필요한 악순환이 반복됩니다.
더 근본적인 문제는 '암묵지Tacit Knowledge'입니다. 오랜 경험을 가진 의사에게 '왜 그 진단을 내리셨나요?'라고 물어보면 많은 경우 이렇게 답합니다. '그냥 경험상 그런 느낌이 왔어요.' 수천 명의 환자를 진료하면서 몸에 익은 직관적 판단은 말로 표현하는 것 자체가 불가능합니다. 자전거 타는 법, 요리의 손맛처럼 경험으로만 쌓이는 지식이죠. 규칙 기반 시스템은 이런 암묵지 앞에서는 완전히 무용지물이었습니다.
유지보수 비용도 큰 문제였습니다. 규칙이 수천, 수만 개로 불어나면 규칙 하나를 고칠 때 다른 어떤 규칙과 충돌하는지 파악하기가 점점 어려워집니다. 마치 거대하게 쌓아올린 벽돌탑에서 벽돌 하나를 뺄 때 어디가 무너질지 예측하기 어려운 것처럼요.
▸ 스스로 규칙을 찾아내는 기계 : 머신러닝의 등장
규칙 기반의 한계가 명확해지면서, 연구자들은 발상을 바꿨습니다. '우리가 규칙을 만들어 넣는 게 아니라, 컴퓨터가 데이터를 보고 스스로 규칙을 찾아내게 하면 어떨까?' 이것이 머신러닝, 즉 기계학습의 핵심 아이디어입니다.
스팸 필터의 진화를 보면 쉽게 이해할 수 있습니다. 규칙 기반 필터는 사람이 '이런 단어가 있으면 스팸'이라고 직접 정의합니다. 그런데 스팸 메일을 보내는 사람들은 점점 영악해져서 '무료'를 '무.료'로 쓰거나, 발신자 주소를 'google.com' 대신 'gogle.com'으로 위장하기 시작합니다. 필터는 이 새로운 수법을 막기 위해 계속 규칙을 추가해야 하는 악순환에 빠지죠.
반면 머신러닝 기반 필터는 수백만 건의 스팸 메일과 정상 메일을 학습해서 스스로 패턴을 찾아냅니다. 스팸 발송자가 새로운 수법을 써도, 새 학습 데이터만 추가하면 필터가 자동으로 적응합니다.
세상은 규칙 이외의 일들이 벌어질 수 있고, 머신러닝은 모든 경우의 수를 학습합니다.
규칙 기반과 머신러닝의 차이를 한 문장으로 정리하면 이렇습니다. 규칙 기반은 '규칙 + 데이터 = 결과'이고, 머신러닝은 '데이터 + 결과 = 규칙'입니다. 고양이를 찾는 규칙을 우리가 만드는 대신, 수천 장의 고양이 사진을 보여주면서 'AI야, 이게 고양이야'라고만 알려주면 AI가 스스로 고양이의 특징을 파악하는 거죠.
▸ 어떻게 배울 것인가 : 머신러닝의 세 가지 방식
머신러닝 안에도 다양한 학습 방식이 있습니다.
첫 번째는 지도 학습Supervised Learning입니다. 선생님이 고양이 사진 1만 장에 '고양이'라고 정답(라벨)을 붙여서 AI에게 주면, AI가 그 사진들에서 공통된 특징을 찾아 학습하는 방식입니다. 마치 수백 개의 예제 문제와 풀이를 주면서 '이런 유형은 이렇게 푸는 거야'라고 가르치는 것과 같습니다. 오늘날 우리가 쓰는 AI 대부분이 이 방식으로 만들어집니다.
두 번째는 비지도 학습Unsupervised Learning입니다. 정답 없이 데이터만 주면, AI가 스스로 숨겨진 패턴이나 구조를 찾아냅니다. 넷플릭스가 여러분의 시청 기록을 분석해서 비슷한 취향의 사람들을 묶거나, 구글 포토가 사진에서 자동으로 인물과 장소를 분류하는 것이 대표적인 사례입니다.
세 번째는 강화 학습Reinforcement Learning입니다. AI가 좋은 결과를 냈을 때 보상을, 나쁜 결과를 냈을 때 감점을 주는 방식입니다. 이세돌 9단을 이긴 알파고처럼, 아무런 전략도 가르쳐주지 않고 수만 번의 대국을 스스로 두면서 이기는 법을 깨우치게 하는 거죠. 당근과 채찍으로 동물을 훈련하는 것과 비슷한 원리입니다
.
머신러닝을 이해하면 한 가지가 더 보입니다. 현대의 AI 시스템 중 상당수는 규칙 기반과 머신러닝을 함께 사용합니다. AI는 단순한 연산에도 많은 전력을 소모하기 때문에, 규칙으로 처리할 수 있는 것들을 먼저 걸러내고 AI의 판단이 꼭 필요한 부분만을 정제해서 처리하는 방식이 훨씬 효율적이거든요. 규칙이라는 뼈대 위에 머신러닝이라는 근육을 붙이는 것, 그것이 현실적인 AI 구현의 핵심입니다.