챗지피티의 오류 예: 틀린 말을 보고, 지적해야 할 때

무료버전기준,

제미나이보다는 조금 덜하지만

챗지피티도 틀린 소리를 꽤나 자주 하는편입니다.

그래서, 아래와 같이

AI의 대답을 읽고 상식적인 의문을 가졌을 때는 바로 다시 물어 확인하는 게 좋습니다. 안 그러면 이 녀석은 틀린 대로 '썰'을 계속 풀어요. 제미나이처럼.

 

 

이럴 때는 그때그때 지적해야 다음 문답이 쓸모가 있습니다. 저것도 두 번쯤? 그러길래 지적해주니 자기가 인정하고 고친 것.  온라인 댓글싸움때 틀린 줄 알면서도 인정하지 않는, 누군지 모르는 사람보다야 낫지만요.. 그리고 온라인 게시판의 토론처럼 상대도 얼마든지 틀릴 수 있다고 생각하고 대답을 읽어가면 지금 수준의 LLM AI 챗봇도 참 쓸 만합니다.

 

 

만약 내가 전혀 모르는 분야에 대해 물어보면

얘가 틀린 말을 해도 나는 확인할 수 없고,

마치 병원 진찰실에 들어간 환자처럼

예, 예 하는 겁니다.

LLM AI는 의사가 아니지만. (하지만 외국에서 테스트해본 의사시험 필기에는 합격했다죠?)

 

그러면 앞 문답에 기반해 뒷 문답을 스무고개식으로 가므로, 틀린 이야기를 계속 깔고 다음 이야기를 해서 못 써먹을 말만 쌓일 수도 있어요.

 

뭐, 이런 경우는 사소한 이야기고

 

진짜 곤란하게 하는 건

없는 논문을 지어내서 레퍼런스로 인용하거나

링크한 기사 원문에는 없는 내용을 지어내서 말하거나

역사에 없었던 인물과 연월일을 지어내서 사건을 만들어내거나

등이 있습니다.

 

(구글 제미나이의 경우는 구글이 서비스하는 콘텐츠에 직접 접근가능해서 유튜브 영상을 다양하게 처리할 수 있는데, 없는 영상 링크를 던져주며 이것이 근거라며 내용을 "요약"하기도 하죠. 없는 링크인데. 몇 달 전에는 그런 오류가 매우 심했는데, 요즘은 확 줄었지만요)