MIT "제미나이, 챗GPT보다 '조금' 우월할 뿐...혁명은 아직"
[시드니=뉴스핌] 권지언 특파원 = 구글이 공개한 생성형 AI(인공지능) 모델 '제미나이(Gemini)'가 오픈AI의 챗GPT-4보다 나은 점수를 받으며 세간의 이목이 집중되는 가운데, 전문가들 사이에서는 아직 '혁명적' AI 작품이 나온 것은 아니라는 지적이 나왔다.
미국 MIT에서 발행하는 테크놀로지리뷰 사이트는 6일(현지시각) 구글 딥마인드가 공개한 제미나이가 다방면에서 챗GPT-4를 능가한 것은 맞지만 격차의 정도는 적은 수준에 불과하며, 구글이 AI 열풍의 최고점을 찍었다는 뜻은 아니라고 꼬집었다.
 |
| [사진=로이터 뉴스핌] 2023.12.07 [email protected] |
◆ "AI 아이폰 모먼트는 아직"
구글이 공개한 제미나이를 지켜본 전문가들은 GPT-4에 비해 성능이 우수한 것이 확인되긴 했으나 애플의 아이폰이 세상을 바꾼 것과 같은 AI 버전의 '아이폰 모먼트'가 시작된 것은 아니라고 지적했다.
워싱턴대학교에서 온라인 검색을 연구하는 치라그 샤는 매년 애플이 선보이는 신규 아이폰을 예로 들면서 "(제미나이가) AI 한계점을 조금 높인 것일 뿐 이미 (AI와 관련해) 많은 것들을 본 상태여서 제미나이 공개가 그리 인상적이진 않았다"고 평가했다.
구글은 제미나이 출시에 앞서 GPT4와 제미나이의 성능을 비교하는 테스트를 했으며, 그 결과 LLM 성능을 평가할 때 사용하는 32개 항목 중에서 제미니가 30개 항목에서 GPT-4를 뛰어넘었다고 밝혔다. 특히 제미나이는 비디오 및 오디오를 이해하고 상호 작용하는 데 강점을 드러낸 것으로 알려졌다.
데미스 허사비스 구글 딥마인드 최고경영자(CEO)는 "제미나이는 MMLU(대규모 다중작업 언어 이해)에서 90%의 점수를 얻었다"며 "인간 전문가 점수인 89.8%를 넘은 첫 AI 모델"이라고 밝혔다.
미국 싼타페연구소의 AI 연구자인 멜라니 미첼은 "제미나이가 매우 정교한 AI 시스템인 것은 분명하다"면서도 "다만 제미나이가 실제로 GPT-4에 비해 월등히 우수한 능력을 갖고 있다는 확신은 못 받았다"고 말했다.
퍼시 량 스탠포드대 컴퓨터공학과 부교수 역시 여러 성능 평가에서 제미나이 수치가 GPT-4보다 높긴 했으나 트레이닝 데이터에 어떤 입력값이 있었는지 알지 못하는 상황에서 성능 평가 수치 자체를 맹신하긴 어렵다고 지적했다.
미첼은 제미나이가 이미지나 영상에 비해 언어와 코드 기준서 더 높은 성적을 받았다고 해도 "멀티모달 기초 모델이 많은 업무에서 더 활발하게 활용되려면 아직은 갈 길이 멀다"고 강조했다.
MIT테크리뷰는 구글 딥마인드가 생성 AI의 할루시네이션(환각) 문제를 완전히 해결했다고 보기도 어렵다면서, 근본적인 기술 개편이 없이는 할루시네이션 문제가 사라지지 않을 것으로 봤다.
워싱턴대 샤는 현재 기업들이 경쟁적으로 만들어내는 AI 모델들이 상당 부분 개선된다고 해도 일반 사용자들이 느끼는 차이는 크지 않을 것이라면서 "편리성과 브랜드 인지도, 기존 시스템과의 호환성 등에서 개선이 있어야 사람들은 '오 확실히 좋아졌구나'라고 느끼게 될 것"이라고 꼬집었다.
테크크런치 역시 제미나이의 학습 데이터에 대한 투명성이 부족하다고 지적했으며, 공개된 3가지 버전 중 실제 성능이 뛰어난 버전은 최고급 버전인 '제미나이 울트라'일뿐 당장 활용이 가능한 '제미나이 프로'는 GPT-4 대비 뛰어나다고 할 수 없다고 평가했다.
전문가들은 또 제미나이 초기 버전이 바드에서 영어 기반으로 170개 이상의 국가 및 지역서 사용 가능하긴 하나 뒤집어 말하면 다른 언어에 대한 능력은 상대적으로 부족하다는 뜻으로 해석할 수 있다고 지적했다.
이러한 전문가들의 우려를 반영하듯 간밤 뉴욕증시 정규장서 구글 모기업 알파벳 주가는 0.74% 하락했고, 시간 외 거래에서도 0.82% 반등하는 데 그쳤다.
