ChatGPT vs Grok vs Gemini vs Perplexity 사용자 테스트 및 비교 (25.2.23)

25.2.17일 Grok3 가 출시 되고 나서 사용자들의 호평이 이어지고 있습니다. 이에 기존 생성형AI  서비스 에 대해서 간단하게 비교해보도록 하겠습니다. 모두 동일한 프롬프트 (prompt) 를 전송하였고 프로프트 내용에 맞게 옵션을 선택하여 결과 생성해 보았습니다.

 

프롬프트 내용

“테슬라 2023년 1분기 부터 2024년 4분기 까지 분기 별 매출, 영업이익, EPS 를 Bar Chart 로 그려줘”

 

✅  ChatGPT-4o + search, reason (무료사용)

https://chatgpt.com/share/67baacff-ab98-8005-8b06-20cd4cc93d93

ChatGPT - 테슬라 2024 실적 요약

1주일 전에 했던 결과는 나름 참조 할만한 자료를 인용하여 결과를 보여 주었으나 현재는 결과 품질이 나빠졌음. 결과물은 즉시 출력되었음

 

https://chatgpt.com/share/67bab0df-e298-8005-ae3a-507f16408147

ChatGPT - 테슬라 재무 차트 생성

reason으로 실행하면 bar chart 생성을 위한 python 코드를 생성하나 데이터 자체는 실제 데이터가 아닌 테스트용 데이터를 보여주고 있어서 사용자가 원하는 결과와는 실망스런 결과물. 결과물은 즉시 출력되었음

 

참고) 1주일 전 결과 동일 프롬프트 실행 결과: https://chatgpt.com/share/67baae55-8010-8005-9585-9df9be32e831

 

✅  Grok3 (beta) + deepsearch (X Premium)

https://grok.com/share/bGVnYWN5_59435072-20ca-4f9f-9301-9d0237635ef4

테슬라 매출, 영업이익, EPS 분기별 추이 | Shared Grok Conversation

deepsearch 기능을 사용하였기 때문에 탐색 과정에 대한 reasoning 을 볼 수 있었음 (136개 참고자료 조사)

언론사 뉴스 뿐만 아니라 SEC 10K 공시자료 서칭을 자동으로 수행했음. 아쉬운 점은 프로프트로 요청했던 바 차트 생성은 하지 못했음 (think 로 실행하는 경우 텍스트로 바차트 형태를 만들어 주기는 했음). 결과 출력 까지 약 2분에서 4분소요

 

✅  Gemini + 2.0 Flash (무료)

https://gemini.google.com/share/b992f35615d8

‎Gemini - 테슬라 2023년 1분기 부터 2024년 4분기 까지 분기 별 매출, 영업이익, EPS 를 Bar Chart 로 그

결과를 즉시 출력 했으나 가독성이 낮은 결과를 보여주었음. 바 차트는 생성하지 못함. 결과는 즉시 출력되었음

 

✅ Perpelxity + DeepResearch (무료)

https://www.perplexity.ai/search/teseulra-2023nyeon-1bungi-bute-7NhqwgWET7CYe2mIVUX8Ug

테슬라 2023년 1분기 부터 2024년 4분기 까지 분기 별 매출, 영업이익, EPS 를 Bar Chart 로 그려줘

리서치 특화 생성형 AI 서비스 답게 바 차트 그림을 생성 했음. DeepResearch 하는 동안 reasoning 프로세스를 볼수 있었음 (36개 참고 자료 조사). 인용, 참고한 자료의 링크도 포함되어 있어서 결과에 대한 재검토가 빠르게 이루어 질수 있었음. 결과 출력까지 약 2분에서 4분 소요

 

✅  결론

평가 순위는

1. Grok3, Perplexity
2. Gemini-2.0Flash
3. ChatGPT

Grok3 는 출시한지 1주일이 아직 지나지 않아서 계속적인 업데이트가 이루어지고 있음.  X (구 트위터) 의 택스트 데이터를 활용하여 다른 생성형 AI 와는 차별적인 서비스와 기능 (예: unhinged mode)  추가되고 있음. 개인적으로 Grok 에 추가 되었으면 하는 기능은 chatGPT 와 같이 간단한 코딩 정도는 실행 결과를 직접해 볼수 있는 canvas 기능이 있었으면 좋겠음.

 

chatGPT 는 선발 주자로서 브랜드 측면에서 이점을 누리고 있지만 지속된 경쟁자의 추격에 점점 서비스 품질 개선이 잘 이루어지지 않는 모습을 보이고 있음. 내부적으로 대규모 투자를 하기에 어려운 비영리법인 형태를 띄고 있기 때문이 아닌가 추측됨. 추후 추가 지분투자 (소프트뱅크) 후 개선되는 점을 살펴볼 필요가 있음.

 

또한 ploymarket 에서 25년도 말 기준으로 어떤 회사 재품이 he Chatbot Arena LLM Leaderboard (https://lmarena.ai/) 에서 가장 높은 점수를 획득하는지에 대한 확률의 컨센서스를 확인할 수 있으니 개별적으로 사용을 해보고 활용을 해보면 좋을것 같습니다.

https://polymarket.com/event/which-company-has-best-ai-model-end-of-2025?tid=1740286306736

Which company has best AI model end of 2025?