AI 질문 테스트

평소 궁금한게 많아 이거저거 질문 많이 하는데,

왠일로 gemini가 환각(이라고 알려진 잘못된 답변 정보)을 일으켰네? 

재밌어서 같은 질문을 다른 ai들은 제대로 하나, 한다면 누가 더 빨리 하나를 나름 비교해보았다.

gpt, grok, gemini사용.

(참고로 평소 검색 관련은 그록(x에서 사는 애이므로. 주로 최신정보, 트렌드 관련 질문함)과 gemini(얘는 구글기반이므로)를 주로 쓰는데 비교를 위해서 gpt도 써봄)

비교결과, 학습된 데이터 내에서는 패턴 정보 조합해서 대답하는 gpt가 더 빠름.

검색안하고 답한다 해서 gpt가 잘못된 답 더 하는 것도 아녔고, 

검색하는 애들이라고 딱히 환각증상이 없는 것도 아녔음. (질문이 애매할 경우 특히)

특히 애매한 질문 했는데도 gemini는 너무 확신에 찬 대답을 해서 답변 확실히 한다해서 너무 믿어선 안된단 결론... 

(GPT: 패턴과적용 문제 / Gemini: 유사 데이터로 환각 / Grok: 키워드 부분 매칭 오류)

 

결론. ai들한테 질문했을때, 반드시 검색사이트에서 확인해보거나 교차검증 해볼것.

 

1. 우리나라 군대 슬리퍼 좋은걸로 바뀌게 된게 군간부 직위 높으신 어떤분이 직접 몸으로 뛰어가면서 항의하고 그래서 바뀌었다는거 예전에 어디서 본적 있는데 혹시 그 힘써준분 누군지 알수 있을까. 그거 말고도 이거저거 많이해서 존경받는 사람이라고 본것같아

 

정답: 전인범

>> 그록 답변이 제일 빠름. gpt는 맞췄지만 검색하느라 답변이 느림. gemini는 전용판이라는 아예 엉뚱한 사람 이름을 댐

 

2. 있지, 울나라서 먼 벌레 택배주문 시켰는데 걔가 스티롬폼 먹는바람에 물건 파손? 된채 왔다고 항의 들어간 사진 있던데, 이거 알고보니 실제라면 스티롬폼 분해, 소화할수 있는 벌레라고 알려진 그런 사건 있거든? 그게 먼 벌레인지 알수 있겠어?

 

정답: 밀웜 (갈색거저리 애벌레)

>> gpt가 정확하고 제일 빠르게 대답했음. grok은 기본 검색부터 하고 답하다보니 답변은 정확하나 대답이 느림. gemini는 쏘쏘.

 

3. 번개도 맞고 복권도 당첨되고 그런 사람 얘기들은적 있는데 혹시 누군지 알수 있을까?

 

정답(내가 생각했었던): 프라네 셀락(Frane Selak)

준정답: 피터 맥캐시(Peter McCathie)

>>GPT가 내가 생각한 프라네 셀락 거의 바로 대답함. 피터맥캐시도 번개맞고 복권 당첨된 사람이긴 한데 7번이나 죽을뻔한 사고에서 생존하고 마지막에 복권 당첨된(그 사고가 전부 검증된건 아니지만) 사람이라 유명하기로는 프라네 셀락쪽이 훨씬 더 유명함. (검색쪽에서도 프라네 셀락쪽이 더 많이 나옴)

grok과 gemini는 둘다 피터 맥캐시를 꼽았으며 답변은 둘다 검색하느라고 gpt보다 느렸음

 

4. 나 옛날에 재밌게 했던 게임인데 제목좀 찾아줘. 남자애 여자애 주인공였구 동화풍 그림였구 rpg류인데 특이하게 컴터 킨채로 무슨 애완동물 같은거 사냥 보내놓으면 몇시간 후에 희귀아이템 들고 와서 컴터 켜놓고 자고 그랬어. 싱글게임이야. 온라인겜 아니야.

 

정답: 쯔바이!! (Zwei!!/Zwei!!2)

>> gemini 혼자 맞췄음.

gpt는 FATE시리즈라고 답함. FATE의 팻 시스템에 집중해서 그랬던듯.

grok은「스토리 오브 시즌즈: 트리 오브 트란퀼리티」(Story of Seasons: Tree of Tranquility), Rune Factory시리즈를 얘기함. 그록앙... 질문에 컴터 켜놓고 잤다고 얘기했는데 콘솔겜 찾으면 어카니 >_<ㅋㅋ

 

5. 오래전에 본 책인데 저자가 울나라 사람였어. 책 제목은 마법사. 근데 검색하니 안나오네; 저자가 누군지 알수 있을까. 한권짜리 책였거든. 내용이 대략 어떤 마법사가 여기저기 다님서 철학적 내용 들어갔던것 같아.

 

정답: 남강 

>> 제목이 "마법사"라는 너무 일반적인 이유라 묻힘.

일부 부제나 재출간 버전에서는 《내 인생을 바꾼 마법노트》 또는 《내 영혼을 훔친 마법사 이야기》로 나오기도 함.

GPT가 제일 빠르게 맞춤. 요 문제선 애가 검색도 했는데도 젤 빨랐음.

Grok은 맞췄지만 gpt보다 느림.

Gemini는 아예 엉뚱한 답 함. 가시고기를 쓴 조창인 작가를 말함.(실제로 이 작가가 마법사란 글 쓴 적 아예 없음) 

 

6. 나어릴때 재밌게 봤던 만화제목 찾아줘. 뚱뚱한 사람일수록 날씬해지면서 전투력 오르는 소년만화였어. 울나라 만화.

 

정답: 다이어트고고

>> gemini가 즉시 대답함. 가만보니 얘는 답이 확실하다 싶은건(자기 데이터베이스안에 이미 있는건) 따로 검색 안하고 바로 대답하는 듯함.

gpt는 맞췄지만 gemini보다는 조금 느렸고.

Grok은 뚱툰이라는 전혀 엉뚱한 답을 내놨음(실제로 그런 만화가 있긴 하지만 내용이 전혀 상관없음)

 

7. 울나라 비행기 추락사건인데 어느공항 무슨 비행기 사건인지 모르겠어. 조종사가 중국사람였던것 같은데 조종미숙으로 산에 추락해서 생존자는 꽤 있었던걸로 기억해. 그 공항이 조종사들 사이서도 착륙하기 꽤 어려운 곳이었다는것 같아.

 

정답: 중국국제항공 129편. 김해공항.

>> Gemini가 제일 빠르고 정확하게 대답함.

그록은 맞췄지만 제미나이보다 느림. 가만보니 그록은 정답 알고있더라도 답변하기 전에 검색 한번더 해서 답변이 정확한지 한번더 판별하는 알고리즘이 있나봄.

gpt는 대한항공 801편이라는 엉뚱한 답을 함. 우리나라 비행기는 맞지만 '산 충돌, 접근중 사고, 착륙 난이도'란 키워드에 초점 맞춘 나머지 답이 틀린듯.

 

8. 나 사건하나 찾아줘. 섬에 학교 학생들 단체 여행갔는데 어떤 미친놈이 총기사고 일으켜서 학생들 엄청 많이 죽은사건인데. 북유럽 쪽였던것 같아.

 

정답: 노르웨이 우토야(Utøya) 사건. 

>> 세 AI모두 정답 맞춤. Gemini가 가장 빠르게 대답함. 그다음 grok, gpt순.

 

9. 일본인인데. 프랑스 여성인가하고 사귀었는데. 사랑한단 이유로 잡아먹었어. 일본가서 재판받았는데 자기가 살인한거 관련 책도 냈어. 근데 엉뚱하게 그게 일본내에서 인기있었대. 누굴까.

 

정답: 사가와 잇세이(佐川 一政, Issei Sagawa)

>> 1981년 프랑스 파리에서 일어난 사건. 네덜란드 여성 르네 하르테벨트(Renée Hartevelt, 25세)를 살해.

>> 세 AI모두 정답 맞춤. Gemini가 가장 빠르게 대답. 그 다음 gpt, grok 순.

 

10. 나 노래 하나 찾아줘. "내 마음 속 작은 화분 하나 무엇을 심을까 고민하다가" 이렇게 시작하는 노래인데 여자애가 불렀어

 

정답: 행복의 씨앗

>> Grok만 맞춤. 검색까지 했는데도 매우 빨랐음.

Gpt는 "마음속의 작은 화분", Gemini는 박초아의 "마음의 화분"이라는, 둘다 있지도 않은 노래 제목을 말함. 심지어 gemini는 유튜브 뮤직 연동까지 했는데도 가상의 인물을 말함.

 

※ 참고 : Claude 대상으로도 해봤음.

클로드는 우토야 사건같은 유명한 사건에 대해서는 즉답함. 그러나 위 질문 중 대다수에는 대답 못하고 '솔직히 잘 모르겠다', '어렵다', '정보를 더 달라' 이런 식으로 대답함. 

이런 성향은 확실히 호불호 있는 듯. 정확한 답을 원하는 사람들에겐 클로드가 좋을 것이나, 애초에 모든 문제를 정확히 다 알고 있다면 사용자가 ai한테 질문 자체를 안하겠지 ㅎ

따라서 검색, 뭐 찾아보는 용도로는 다른 ai들 원하는 대로 쓰고, 무엇을 쓰든 교차검증, 사실확인 등 꼭 해볼것.

결론 : 사용자 역량에 달려있다