제주대 도서관에서는 책 읽는 제주대학교의 모습을 위해 매주 아침독서를 제공하고 있습니다.

◈ 아침독서 바로가기 <마침내 특이점이 시작된다.>

◈ 모바일 아침독서 바로가기

※ 모바일 접속시 필요한 로그인 정보는 < 대학NO: jejunuac   ID: jejunuac   이름: 제주대학교> 

마침내 특이점이 시작된다

지능의 재발명

여전히 AI에게 필요한 것은 무엇인가?

지난 몇 년의 성과가 보여주듯이, 우리는 이미 신피질의 능력을 재현하는 길을 향해 잘 나아가고 있다. 오늘날 남아 있는 AI의 결함은 몇 가지 주요 영역으로 나누어지는데, 그중에서 가장 중요한 것은 맥락 기억과 상식, 사회적 상호 작용이다.

맥락 기억은 대화나 글로 표현된 모든 개념이 서로 어떻게 동역학적으로 결합돼 있는지 추적하는 능력이다. 관련 있는 맥락의 크기가 증가하면, 개념 사이의 관계의 수는 기하급수적으로 증가한다. 이 장 앞에서 나왔던 복잡성 한계를 떠올려보라. 비슷한 수학적 원리 때문에 대규모 언어 모델이 처리할 수 있는 맥락의 창을 확장하려면 엄청나게 많은 계산 능력이 필요하다. 예를 들어 주어진 문장에 단어 비슷한 개념이 10개 있다면, 그 부분집합 사이에 가능한 관계의 수는 2의 10제곱 빼기 1, 즉 1023개나 된다. 한 문단에 그런 개념이 50개 있다면, 그것들 사이에 가능한 맥락 관계는 1120조 개도 넘는다! 그것 중 대다수는 실제로는 관련이 없는 것이지만, 장 전체나 책 전체의 맥락을 단순 무식하게 일일이 기억하려는 노력은 금방 통제 불능 상태에 빠지고 만다. GPT-4가 대화 도중에 앞에서 들은 내용을 잊어버리는 것은 이 때문이고, 일관성 있고 논리적인 구성으로 소설을 쓰지 못하는 것도 이 때문이다.

두 가지 측면에서 좋은 소식이 있다. 적절한 맥락 데이터에 더 효율적으로 집중하는 AI의 설계에서 큰 진전이 일어나고 있고, 가격 대비 성능의 기하급수적 개선 덕분에 10년 안에 계산 비용이 99% 이상 떨어질 가능성이 있다. 게다가 알고리듬의 개선과 AI 특이적 하드웨어 전문화로 인해 대규모 언어 모델의 가격 대비 성능이 그것보다 더 빨리 증가할 가능성이 있다. 예를 들면, 2022년 8월부터 2023년 3월 사이에만 GPT-3.5 애플리케이션 프로그래밍 인터페이스를 통한 입출력 토큰의 가격이 96.7%나 하락했다! 이 추세는 칩 설계 최적화에 AI가 직접 사용되면서 가속화될 가능성이 있는데, 그 공정은 이미 시작되었다.

결함이 있는 그다음 분야는 상식이다. 상식은 현실 세계에서 상황을 상상하고 결과를 예상하는 능력이다. 예를 들면, 당신은 갑자기 침실에서 중력의 작용이 멈춘다면 어떤 일이 일어날지 연구해본 적이 전혀 없을 테지만, 그 가상 상황을 쉽게 상상하고 어떤 일이 일어날지 예상할 수 있다. 이런 종류의 추론은 인과 추론에도 중요하다. 만약 개를 키우고 있는데 집에 돌아왔더니 꽃병이 깨져 있다면, 무슨 일이 일어났는지 쉽게 추론할 수 있다. AI는 갈수록 점점 더 자주 뛰어난 통찰력을 보여주고 있지만, 여전히 이런 문제에 어려움을 겪고 있다. 이것은 AI가 아직 현실 세계의 작동 방식에 대한 견고한 모델을 갖추지 못했고, 훈련 데이터에는 이러한 암묵적 지식이 거의 포함돼 있지 않기 때문이다.