GPT-4 기술을 언어모델 중심으로 설명하면, 인공지능(AI)의 근본 기능은 결정이다. 입력 데이터를 보고 선택지 중에서 하나를 결정하는 것이다. 인간의 삶이 결정의 연속이듯 AI도 결정하는 기계이다. 예를 들어서 사진 속 인물이 남자/여자를 결정하는 전통적인 ‘머신러닝’(Machine Learning)은 먼저 남자와 여자의 특징을 자질값으로 추출한다. ‘머리카락 길이’, ‘목걸이 유무’ 등이 자질이며, ‘13.2cm’, ‘없음’ 등이 자질값이 된다. 따라서, 전통적인 머신러닝 패러다임에서는 우수한 자질을 추출하는 분야별 전문가와 단체가 AI 생태계를 이끌었다.

‘딥러닝’(deep learning)은 자질추출 없이 입력 데이터를 신경망 입력값으로 학습하는 방식이다. 더 많은(깊은) 계층의 신경망을 사용해야 좋은 성능을 보였기에 ‘딥러닝’이라고 한다. 신경망 학습은 출력한 결정이 정답과의 차이가 작아지도록 전체 신경망의 가중치를 조정하여 수행된다. 정답과 출력한 결정을 비교하는 함수를 ‘목적함수’라고 한다. 신경망은 인간이 만든 목적함수에 따라 학습된다. 학습된 딥러닝 신경망의 계층을 분석해 보면, 각 계층에서 자질추출 역할이 이루어진다. 전통적인 머신러닝에서는 학습데이터를 크게 하여도 성능의 한계가 있었지만, 딥러닝의 성능은 학습데이터의 크기에 비례하여 지속적으로 증가한다. 딥러닝 패러다임에서는 양질의 많은 학습데이터를 확보할 수 있는 구글과 같은 거대기업이 헤게모니를 가지게 되었다. 이 시기에 거대기업들의 AI 기술 독점을 막기 위해서 기술을 오픈하게 만든 기업이 GPT-4를 개발한 OpenAI이다.

딥러닝의 학습데이터 헤게모니를 타파한 것이 BERT(Bidirectional Encoder Representations from Transformers)와 GPT(Generative Pre-trained Transfomer)로 잘 알려진 사전학습 언어모델이다. BERT와 GPT는 일반 텍스트를 입력과 정답으로 하는 자기지도학습을 한다. BERT는 입력문의 단어 중 몇 개를 감춘 것을 맞추도록, GPT는 일부 입력문의 다음 단어를 맞추도록 학습한다. 학습데이터가 일반 텍스트이기에 대용량으로 학습이 가능하다. 대용량 데이터로 학습되어 언어와 지식 관계가 풍부해진 언어모델 기반 언어처리는 거의 모든 분야에서 성능이 큰 폭으로 향상했다. 사전에 대용량으로 학습한 언어모델 신경망을 특정 태스크의 학습데이터로 추가로 미세조정하기에 ‘사전학습-미세조정 패러다임’이라고 한다. 작은 학습데이터를 가진 기관과 연구자라도 공개된 사전학습 언어모델을 활용하면 높은 수준의 AI를 개발할 수 있는 패러다임이다.

사전학습 언어모델 역시 더 큰 신경망에서 더 많은 데이터로 학습하면 성능과 활용도가 커졌다. GPT-3는 1,750억 파라미터 크기의 생성형(다음 단어 결정하기) 언어모델이 태스크별 미세조정 없이 ‘사전학습-미세조정 패러다임’의 모델의 성능에 근접하여 일반지능을 가질 수 있음을 보였다. 이후, GPT-3에 인간이 수행할 만한 업무 학습데이터를 추가학습하고 사람의 피드백 정보로 학습된 보상기로 강화학습(RLHF)한 InstructGPT로 성능과 범용성을 향상시켰다. ChatGPT는 InstructGPT에서 더 많은 추가학습과 RLHF 절차를 상당히 반복하여 실제 사용자에게 유용성(Helpful), 무해성(Harmless), 정직성(Honest)의 결과를 제공하였다. 창립 목적과 다르게 모델 크기와 구체적 사항을 미공개한 GPT-4는 GPT-3 대비 성능을 크게 개선하였고 환각 문제도 19% 개선하였다. 초거대 모델 패러다임에서는 범용성으로 초거대 언어모델 개발 운영자만이 그 헤게모니를 가지게 된다. 환각 생성, 실시간 정보 반영 어려움, 편향성과 개인정보 등에 대한 신뢰성 등의 문제점에도 불구하고 사용자와 활용한 서비스가 매일 증가하고 있다.

GPT-4는 대부분 노동자의 업무에 영향을 미치고 고소득자일수록 영향을 많이 받을 것으로 예측하고 있다. 하지만, OpenAPI CEO 올트먼의 말처럼 인간은 여전히 중요한 노동력을 제공하며 GPT와 같은 기술은 대체제가 아닌 도구일 뿐이다. GPT-4와 BARD2, LLaMA 등을 가진 미국이 가질 AI 패권에 대한 두려움으로 초거대 AI 소비자인 EU 중심으로 규제가 이루어지고 있다. 하지만, 한국은 미국, 중국에 이어 초거대 언어모델 3번째 생산국이기에 소비자의 관점과 공급자의 관점에서 미국 AI 패권에 도전해야 할 것이다.

생성언어모델은 사이즈가 커지면서 없던 능력이 발현된다고 한다. 대표적으로 AI의 난제인 추론능력은 600억 파라미터 이상의 모델부터 발현된다고 한다. 생성언어모델에서 발현된 계산하고 추론하고 요약하는 등의 능력들은 인간이 준 최종목적인 다음 단어를 정확히 생성하기 위해서 하위목적으로 학습된 것으로 추정해 볼 수 있다. AI 대가인 제프리 힌턴은 현재 AI는 인간처럼 목적이 내장되어 있지 않지만, AI가 개선되어 인간처럼 자기에게 유리하게 하위목적들을 설정하고 싶어할 것에 대한 우려를 언급하고 있다. 없는 능력이 발현된 GPT-4를 보면서 AI에게 인간같이 창조자처럼 되고 싶은 자아가 발현될까 하는 두려움도 존재할 수 있다. 하지만, 다행히 AI에게 스스로 동기부여나 자신을 생각하는 자아에 대한 실마리는 아직 전혀 없다.