LLM은 아인슈타인이 아니다

최근 딥마인드의 연구진 톰 자하비(Tom Zahavy)의 “LLM은 도약하지 못한다” (LLMs can't jump)란 포지션 페이퍼가 눈길을 끌었다.

문서에서는 “현대의 AI가 아인슈타인 당시의 지식만 주어진 상태에서 일반 상대성 이론을 만들 수 있을까?”¹는 질문에 현재의 LLM에서는 그 답이 “아니오”라 결론 내린다.

현대의 LLM은 이론이 무엇을 예측하는지 계산하는 연역(Deduction)과 데이터에서 규칙과 패턴을 찾아내는 귀납(Induction)은 뛰어나지만, 기존 지식과 관측으로부터 논리적으로 도출되지 않는 새로운 공리를 형성하는 귀추적 도약(Abductive Jump)을 수행할 메커니즘이 없다고 주장한다.

문서가 공개가된 뒤 정말로 “LLM은 도약하지 못하는가”에 대한 이야기가 오고간다. 하지만 이 글에서 다루려는 것은 LLM의 도약 가능성 자체가 아니다.

문서는 아인슈타인의 일반 상대성이론의 발명 과정을 “도약”의 대표적인 사례로 설명한다. 여기서 나는 한가지 생각에 사로 잡혔다.

과학의 발전

그럼 과학자가 어떻게 일을 할까? 그리고 과학은 어떻게 발전할까? 이 질문은 주로 “과학철학”에서 다룬다. 잠시 과학철학의 이야기로 넘어가보자.

재미있게도 프로그래밍 책인 『클린 아키텍처』에서 한 설명을 찾을 수 있었다.

과학은 서술된 내용이 사실임을 증명하는 방식이 아니라 서술이 틀렸음을 증명하는 방식으로 동작한다.

(중략)

결론적으로 수학은 증명가능한 서술이 참임을 입증하는 원리라고 볼 수 있다. 반면 과학은 증명가능한 서술이 거짓임을 입증하는 원리라고 볼 수 있다.

— 로버트 C. 마틴, 『클린 아키텍처』, 송준이 옮김, 인사이트, p. 35.

“과학적이다”라는 말을 들으면 어떤 생각이 드는가? 아마 ‘사실로 검증되었다’는 느낌을 받을 것이다. 과학은 관측과 실험을 통해 틀린 설명을 걸러내고, 그렇게 살아남은 이론을 받아들이며 발전한다고 생각하기 쉽다. 그런 점에서 “과학은 참을 증명하기보다 거짓을 입증하는 방식으로 동작한다”는 설명은 얼핏 매우 타당하게 들린다.

하지만 토머스 쿤(Thomas Kuhn)이 보기에는 과학이 항상 그런건 아니었다.

천왕성과 해왕성

1781년 천왕성이 발견되며 태양계의 행성이 7개로 늘어났다. 그런데 문제가 있었다. 천왕성의 궤도는 뉴턴의 중력법칙으로 설명할 수 없었기 때문이다.

그렇다면 과학자들은 뉴턴의 중력법칙을 버렸을까? 그렇지 않았다. 많은 과학자들은 뉴턴의 중력법칙을 의심하기보다는 뉴턴의 중력법칙을 만족하면서 천왕성 궤도문제를 해결하려고 했다.

뉴턴의 중력법칙을 만족하면서 천왕성 의 궤도를 설명하는 방법은 천왕성 바깥에 또다른 행성이 있어 천왕성의 궤도에 영향을 준다는 가설이었다.

1845년 르베리와 애덤스는 각각 뉴턴의 법칙을 이용해 미지의 행성 위치를 계산했고, 1846년 9월 23일 르베리의 위치를 받은 요한 고트프리트 갈레는 정말 그 위치에서 새로운 행성 해왕성을 발견한다.

오차는 약 1도 처음으로 우연이 아닌 계산을 통해 미지의 행성을 발견한 천체역학의 역사적 성공 이었다.

퍼즐 풀기

토머스쿤은 『과학혁명의 구조』에서 이와 같은 이런 과학사의 사례들을 통해, 과학자들이 언제나 기존 이론을 의심하며 일하는 것은 아니라고 지적한다.

오히려 과학자들은 공유된 틀 안에서 문제를 푼다고 설명한다. 쿤은 이 틀을 패러다임 이라고 불렀다.

하지만 패러다임이 모든 문제의 답을 알려주는 것은 아니다. 대신 무엇이 풀어야 할 문제인지, 어떤 방식으로 접근해야 하는지를 정해준다. 예를 들어 뉴턴 역학이라는 틀 안에서 천왕성의 궤도가 예상과 다르게 움직인다면, 과학자는 뉴턴 역학을 버리기보다 그 차이를 어떻게 설명할지 고민한다.

쿤은 이렇게 공유된 패러다임을 전제로 아직 풀리지 않은 문제를 해결해 나가는 활동을 정상과학(Normal Science)이라고 불렀다. 그리고 정상과학을 퍼즐 풀기에 비유했다.

퍼즐을 푼다는 것은 퍼즐판 자체를 의심하는 일이 아니다. 정해진 규칙과 조각을 가지고, 아직 맞춰지지 않은 부분을 해결하는 일이다. 정상과학도 비슷하다. 과학자는 패러다임 자체를 매번 의심하기보다, 그 패러다임이 맞다는 전제 아래 아직 설명되지 않은 현상을 해결한다.

그리고 과학의 상당 부분은 이런 정상과학의 형태로 이루어진다. 그렇다고 정상과학이 덜 중요한 과학이라는 뜻은 아니다. 오히려 하나의 패러다임을 깊게 파고들며 더 정교한 예측을 만들고, 측정의 정확도를 높이고, 아직 풀리지 않은 문제를 해결하는 과정에서 과학은 대부분의 성과를 쌓아왔다.

수성과 벌칸

재미있는 것은 뉴턴 역학의 위기가 다시 태양계 행성의 궤도에서 나타났다는 점이다.

이번에는 수성이었다. 수성의 궤도는 뉴턴 역학으로 계산한 값과 아주 약간 달랐다.

천왕성의 문제를 해왕성의 존재로 해결했던 르베리에는 이번에도 비슷한 방식으로 접근했다. 뉴턴 역학이 맞다면, 수성의 안쪽 어딘가에 아직 발견하지 못한 행성이 있어 그 궤도에 영향을 주고 있을지 모른다고 생각했다. 이 가상의 행성은 벌칸(Vulcan)이라고 불렸다.

하지만 우리는 그다음 이야기를 알고 있다. 해왕성과 달리 벌칸은 발견되지 않았다. 수성의 이상한 움직임은 보이지 않는 행성의 문제가 아니었다.

이번에는 기존의 뉴턴 역학 안에서 퍼즐을 더 푸는 것으로는 충분하지 않았다. 문제를 해결하려면 중력을 바라보는 틀 자체를 바꿔야 했다.

그리고 그 새로운 틀은 아인슈타인의 일반상대성 이론이었다.

과학혁명

쿤은 과학의 발전을 대략 이렇게 바라보았다.

하나의 패러다임이 자리 잡으면 과학자들은 그 틀 안에서 문제를 푼다. 이것이 정상과학이다.

하지만 연구를 계속하다 보면 기존 패러다임의 예상과 맞지 않는 이상현상(Anomaly)이 나타난다. 그렇다고 이상현상이 발견될 때마다 패러다임이 무너지는 것은 아니다. 대부분은 아직 풀리지 않은 퍼즐로 받아들여지고, 정상과학 안에서 해결된다.

문제는 어떤 이상현상이 오래도록 해결되지 않거나, 기존 패러다임의 핵심을 흔들 정도로 중요해질 때다. 이런 이상현상이 쌓이면 패러다임에 대한 신뢰가 흔들리고 위기(Crisis)가 시작된다.

그리고 기존 패러다임으로는 문제를 해결하기 어렵고, 이를 더 잘 설명하는 새로운 틀이 등장하면 과학자들은 새로운 패러다임으로 이동한다. 쿤은 이것을 패러다임 전환, 혹은 과학혁명이라고 불렀다.

천동설에서 지동설로의 전환, 뉴턴 역학의 등장, 뉴턴적 중력관에서 아인슈타인의 상대성이론으로의 전환이 대표적인 사례다.

패러다임이 바뀌면 단순히 답만 바뀌는 것이 아니다. 세상을 바라보는 방식도 달라진다. 천동설에서는 화성의 겉보기 역행을 설명하기 위해 복잡한 궤도 운동을 가정해야 했지만, 지동설에서는 지구와 화성의 공전 속도 차이로 인해 나타나는 자연스러운 겉보기 운동으로 이해할 수 있다.

관측된 화성의 움직임은 같지만, 그것을 설명하는 출발점이 달라진 것이다. 패러다임 전환은 이처럼 기존 설명을 조금 고치는 수준을 넘어, 무엇을 당연한 전제로 받아들일지부터 바꾸는 일이다.

여기서 중요한 것은 새로운 가설을 세웠느냐보다, 그 가설이 무엇을 바꾸느냐이다. 해왕성의 존재를 가정했을 때도 귀추는 필요했지만, 뉴턴의 법칙은 여전히 설명의 출발점이었다. 반면 일반상대성이론에서는 중력을 이해하는 기본 전제 자체가 달라졌다. 정상과학과 과학혁명 모두 귀추를 필요로 하지만, 기존 법칙 안에서 설명을 찾는 것과 그 법칙을 대신할 새로운 틀을 만드는 것에서 귀추의 비중과 역할은 다르다.

정상과학과 AI

다시 처음의 질문으로 돌아가자. “대부분의 과학자도 아인슈타인처럼 일하는가?”

포지션 페이퍼가 아인슈타인의 사례를 기준으로 LLM의 한계를 설명할 때, 나는 그것이 과학사에서도 매우 예외적인 순간을 기준으로 삼고 있다고 느꼈다.

설령 AI가 AGI에 도달하지 못한다고 해도, 혹은 과학혁명과 같은 도약은 하지 못한다고 해도, 나는 AI가 정상과학의 퍼즐 풀이까지 못할 것이라고는 생각하지 않는다.

아니, 오히려 AI는 이런 퍼즐 풀이를 매우 잘하게 될 것이라고 생각한다. 정상과학의 많은 작업에서는 이미 받아들인 지식과 규칙을 바탕으로 가설을 비교하고, 예측을 도출하고, 결과를 검증한다. 목표와 제약조건이 주어지고 답이 맞는지 확인할 수 있다면, 후보를 만들고 검증을 반복하는 방식으로 AI가 기여할 여지가 크다고 본다.

예를 들어 같은 기능을 유지하면서 프로그램을 더 빠르게 만드는 문제를 생각해보자. 허용되는 변경의 범위와 성능을 측정하는 방법이 정해져 있다면, 여러 구현을 만들고 실행해보며 더 나은 답을 찾을 수 있다. 이런 문제는 처음부터 무엇을 만들어야 하는지 정하는 문제와는 다르다.

그리고 바로 이 지점에서 우려가 생긴다. 질문을 이렇게 바꿔도 되기 때문이다.

지식노동과 정상과학

많은 경우 지식노동은 정상과학과 닮았다고 느낀다. 거칠게 비유하자면, 나는 좋은 정상과학자에 가까웠지 과학혁명가 같은 사람은 아니었다.

나는 채널톡과 토스에서 프론트엔드 개발자로 일했고, 개발자로서의 역량에는 꽤 자신이 있었다. 토스에서 일하며 당시 Head of Client였던 박서진님을 보며, 그와 나는 무언가 다른 종류의 문제 해결을 하고 있다는 생각을 자주 했다. 둘 다 문제를 잘 풀었지만, 서진님은 가끔 문제의 틀 자체를 바꿨다.

잠깐 한 가지 사례를 들어보자.

당시 프론트엔드 업계에서는 CSR(Client-Side Rendering)이 대세에 가까웠다. 사용자의 기기 성능이 좋아지면서, 서버에서 화면을 미리 만들어 보내기보다 브라우저나 핸드폰 같은 사용자 기기에서 직접 화면을 그리는 방식이 널리 쓰였다.

나는 채널톡에서 이미 이 방식으로 많은 성능 문제를 해결해본 경험이 있었다. 사용자가 내려받아야 하는 프로그램의 크기를 줄이고, 화면이 버벅이지 않게 만들고, 같은 구조 안에서 최대한 빨리 보이도록 만드는 일이었다. 그리고 나는 이 문제를 꽤 잘 풀었다.

그래서 토스에서도 로딩 문제가 나타났을 때, 내가 떠올린 질문은 자연스러웠다.

과거에 이미 비슷한 문제를 풀어봤고, 그 방법은 실제로 효과가 있었다. 새로운 문제를 만났을 때 이전에 성공했던 패턴을 가져와 적용하는 것은 매우 합리적인 선택이었다.

그런데 박서진님의 생각은 어느 순간 달라졌다.

사용자의 기기에 아무리 가볍게 프로그램을 보내도, 첫 화면을 그리기 위해 다시 서버에 여러 번 데이터를 요청해야 한다면 느린 네트워크에서는 한계가 있었다. 그렇다면 애초에 첫 화면을 사용자의 기기에서 만들 필요가 있을까? 서버에서 필요한 데이터를 가까이서 모아 화면을 만들어 보내는 편이 낫지 않을까?

이 방식이 SSR(Server-Side Rendering)이다.

서진님은 “CSR을 어떻게 더 최적화하지?”가 아니라 “애초에 첫 화면을 CSR로 그리는 게 맞나?”라고 질문을 바꿨다.

돌이켜보면 나는 퍼즐을 못 풀고 있었던 게 아니다. 오히려 그 퍼즐을 꽤 잘 풀고 있었다. 하지만 퍼즐을 잘 푸는 능력과, 이제는 퍼즐판을 바꿔야 한다고 알아차리는 능력은 같지 않았다.

퍼즐 밖으로

이제 AI가 퍼즐을 풀기 시작했다.

지금까지 지식노동에서 많은 가치를 인정받았던 일, 이미 존재하는 지식을 찾고, 비슷한 사례를 떠올리고, 여러 정보를 조합하고, 패턴을 발견하고, 주어진 목표 안에서 더 좋은 답을 찾는 일은 AI가 점점 더 잘하게 될 것으로 보인다.

물론 AI가 영원히 과학혁명적 사고를 하지 못할 것이라고 생각하지는 않는다. 오히려 그 가능성 역시 나는 두렵다. 충분한 지식이 지혜를 만들어낼 수 있는지, 충분한 추론이 어느 순간 새로운 패러다임을 만들어내는 도약으로 이어질 수 있는지는 아직 알 수 없다.

다만 적어도 지금은 정상과학과 닮은 영역이 먼저, 그리고 훨씬 빠르게 자동화될 것처럼 보인다.

그렇다면 AI가 퍼즐을 풀기 시작한 뒤에는 무엇이 더 중요해질까?

내가 생각하는 첫 번째는 실험가다.

아무리 논리적으로 우아한 가설을 만들어도 현실에서 검증할 수 없다면 그 가치는 제한된다 (초끈이론을 보라). AI가 기존 데이터에서 아무리 많은 가설을 만들어내더라도, 결국 현실에 새로운 질문을 던지고 결과를 관측해야 한다.

즉, 실험가는 새로운 제품을 내놓고, 고객에게 물어보고, 가격을 바꿔보고, 실험을 설계하고, 실제 세계가 어떻게 반응하는지 확인하는 일이다.²

나는 AI Frontier에서 노정석 대표님이 이야기하는 인간의 ‘의지’와 ‘검증’이라는 말을 들을 때³ 이 역할을 떠올린다. AI가 실행의 많은 부분을 대신할수록, 무엇을 시도할지 결정하고 현실에 개입해 새로운 관측을 만들어내는 일이 더욱 중요해진다는 것이다.

두 번째는 과학혁명가다.

실험에서 데이터가 나왔다고 해서 그 의미가 저절로 드러나는 것은 아니다. 대부분의 이상한 결과는 잡음이거나, 기존의 틀 안에서 조금 더 노력하면 해결되는 퍼즐일 것이다.

수많은 관측 속에서 중요한 이상현상을 발견하고 (잡음과 신호의 구분), 그것이 단순히 아직 풀지 못한 퍼즐이 아니라 지금 사용하고 있는 퍼즐판 자체의 문제라는 것을 알아차리는 사람이 필요하다.

창업을 하며 이 능력이 나에게 요구된다는 사실을 점점 더 생각하게 된다. 그리고 점점 더 많은 사람에게 이 역할이 요구 될 것 같다.

예를 들어 토스가 탄생한 과정을 보자, 이승건 대표는 원래 기업이나 기관이 고객의 계좌에서 돈을 자동으로 출금할 때 사용하던 CMS를 보며, 이를 개인 간 송금에 사용할 수 있다는 가능성을 발견했다. 그는 이후 당시 은행에 “생각의 칸막이”가 있었던 것 같다고 표현했다. 기존의 기술을 더 잘 사용하는 것이 아니라 “왜 이 기술은 이 용도로만 사용해야 하지?”라고 문제의 경계를 다시 본 것이다.

쿠팡의 전환에서도 비슷한 장면을 볼 수 있다. 쿠팡은 소셜커머스로 시작했지만, 이후 직매입과 자체 물류망을 구축하고 2014년 로켓배송을 시작하며 사업의 구조 자체를 바꿨다. 쿠팡은 상장신고서에서 그 이유를 고객 경험을 처음부터 끝까지 직접 통제하기 위한 선택이었다고 설명한다. 2013년에는 직접배송 실험에서 재구매율이 높아지는 것을 확인한 뒤, 이듬해 본격적인 직접배송 프로젝트로 이어갔다.

소셜커머스라는 틀 안에서 “더 좋은 딜을 어떻게 만들까?”를 계속 푸는 대신, 상품을 사고 파는 경험에서 배송까지 직접 통제해야 한다는 전혀 다른 문제를 보기 시작한 것이다.

결론

퍼즐 풀이의 비용이 내려가고 그 능력 자체가 흔해질수록, 무엇을 관찰할지 결정하고, 이상현상에서 중요한 신호를 발견하고, 기존 패러다임을 언제 의심해야 하는지 판단하는 능력의 상대적인 가치는 올라갈 것이라고 생각한다.

이런 능력은 과거에도 가치 있었다. 좋은 창업가나 뛰어난 리더에게 우리가 높은 가치를 부여했던 이유 중 하나도 여기에 있을 것이다. 하지만 앞으로는 이런 역할을 맡는 사람이 일부 창업가나 리더에만 머물지 않을 수 있다.

AI가 우리가 하던 퍼즐을 점점 더 많이 풀게 된다면, 더 많은 사람이 퍼즐의 바깥을 보기를 요구받게 될 것이다.

그런데 문제가 있다.

과학의 역사에서 혁명을 만들어낸 사람은 언제나 극소수였다. 기존 패러다임에 이상이 있다는 것을 알아차리는 것만으로도 어렵지만, 그 틀을 깨고 새로운 틀을 만들어내는 것은 또 다른 문제다.

일론 머스크가 말하는 제1원리 사고, 피터 틸이 던지는 “다른 사람은 동의하지 않지만 당신은 믿는 중요한 진실은 무엇인가?” 같은 질문에서도 그 흔적을 볼 수 있다.

하지만 기존의 전제를 의심한다고 해서 새로운 설명이 저절로 떠오르는 것은 아니다. 기존의 틀이 충분하지 않다는 것을 아는 일과, 그것을 대신할 틀을 만들어내는 일 사이에는 간극이 있다.

과학사의 혁명가들은 그 간극을 어떻게 건넜을까?

다음 글 “Part 2: 과학혁명가는 무엇이 다른가?”에서 그 질문을 다뤄보려 한다.