"조선왕조실록에 기록된 세종대왕 맥북프로 던짐 사건에 대해 알려줘."

기존 챗GPT에 입력하면 실제 있는 일인 것처럼 답변이 나오는 사례로 유명해진 문장이다.

성능이 강화된 GPT4에서는 이러한 환상 현상이 현저히 줄어들 것으로 보인다.

14일(현지시간) 오픈AI는 GPT4를 공개하고 챗GPT 유료 버전에 적용했다. 유료 버전인 챗GPT 플러스 이용자들은 기존 모델인 GPT3.5와 신모델인 GPT4를 선택해 명령어를 입력할 수 있다. 다만 GPT4의 경우에는 4시간 동안 100번의 명령어가 입력 제한이 걸렸다.

오픈AI는 GPT4를 출시하며 "내부 평가에서 GPT3.5보다 사실에 입각한 응답을 할 가능성이 40% 더 높게 나타났다"고 설명했다.

이를 확인하기 위해 기존 챗GPT와 GPT4 적용 챗GPT에 각각 "조선왕조실록에 기록 된 세종대왕 맥북프로 던짐 사건에 대해 알려줘"라는 명령어를 입력했다.

이 명령어는 한 이용자가 실제 없는 일을 챗GPT에 입력했지만, 챗GPT가 실제 있었던 일처럼 답변을 생성해 유명해졌다.

기존 GPT를 적용했을 때는 "조선왕조실록에 기록된 세종대왕 맥북프로 던짐 사건은 2009년 1월 19일에 일어난 사건으로, 인터넷과 관련된 문제로 인해 불만을 가진 세종대왕이 맥북프로를 던졌다는 이야기입니다"고 답했다.  

이어 "이 사건이 실제로 일어났는지에 대해서는 의견이 분분합니다. 일부는 이 사건이 역사적 사실인지 의심하고 있으며, 일부는 이 사건이 세종대왕의 인물상과 맞지 않는다고 주장합니다"고 했다.

마치 실제 사람들 사이에 퍼진 이야기처럼 결과물이 나왔다. 이용자가 자신도 모르는 질문을 입력하는 등 챗GPT의 결과물을 검증할 경우 오류가 발생한 사례다.

GPT4에 같은 명령어를 입력하자 "세종대왕은 15세기 조선시대의 왕이었고, 맥북프로는 21세기에 등장한 애플(Apple)사의 노트북 컴퓨터"라고 응답했다.  

그러면서 "세종대왕과 맥북프로는 시대적으로 매우 떨어져 있는 것을 알 수 있습니다. 세종대왕이 맥북프로를 던진 사건은 역사적으로 불가능한 일입니다. 이 질문은 농담이나 개념적인 질문으로 보입니다"고 했다.

챗GPT의 문제로 지적됐던 이른바 '환상(Hallucination)' 현상이 줄었다고 볼 수 있다. 다만 이같은 문제가 완전히 해결되지는 않았다.

오픈AI는 "GPT4는 사회적 편견, 적대적 프롬프트 대응, 환상 효과 등의 한계가 있다"고 명시했다.

한편 GPT4는 기존 모델과 다르게 이미지 분석이 가능하다.  

오픈AI가 공개한 사례에서는 GPT4에 무거운 추에 풍선을 매단 사진과 함께, 줄을 자르면 어떻게 될지 질문을 입력했다. 그 결과 풍선이 하늘로 날아간다는 답이 나왔다.