클로드 페이블 5.2 공개…ARC-AGI-3 1위, 페르마 정리 30시간 형식화

케케우 편집팀

앤트로픽이 새 AI 모델 클로드 페이블 5.2를 공개했어요. 9일(현지시간) 출시된 페이블 5.2는 주요 AI 평가에서 오픈AI의 GPT-6 계열과 구글 제미나이를 제치고 잇따라 1위에 올라 화제가 되고 있어요.

다만 모든 평가에서 1위를 한 건 아니어서, 항목별로 따져볼 필요가 있어요.

ARC-AGI-3 리더보드 클로드 페이블 5.2 점수
사진=ARC 프라이즈 리더보드 갈무리

클로드 페이블 5.2는 어떤 모델?

앤트로픽 공식 발표에 따르면 페이블 5.2는 코딩·추론·이미지 인식을 강화한 최상위 모델이에요. 같은 기반 모델로 만든 ‘미토스 5.2’도 함께 나왔는데, 미토스는 사이버보안·생명과학 분야 인증 기관에만 제공돼요.

ADVERTISEMENT

API 가격은 입력 100만 토큰당 8달러, 출력 40달러로 이전 모델(10달러·50달러)보다 20% 내렸어요. 앤트로픽은 페이블 5.2가 오퍼스 5.5보다 거의 모든 평가에서 앞선다고 밝혔어요.

ARC-AGI-3·지능지수 1위, 그러나 GPT도 강세

ARC 프라이즈 리더보드에 따르면 페이블 5.2는 ARC-AGI-3 표준 부문에서 81.2%로 1위를 차지했어요. GPT-6 아스트라(62.7%)를 큰 차이로 앞섰어요.

ARC-AGI-3 모델별 점수 순위표
사진=ARC 프라이즈 리더보드 갈무리

하지만 어댑터를 쓰는 부문에서는 GPT-6 아스트라가 99.9%로 1위, 페이블 5.2는 97.7%로 2위였어요. 팟캐스터 드와르케시 파텔이 진행한 ‘블러드 온 더 클락타워’ 속임수 게임 평가에서도 페이블 5.2는 GPT-6 아스트라보다 낮았어요.

평가페이블 5.2경쟁 모델
ARC-AGI-3 표준81.2% (1위)GPT-6 아스트라 62.7%
ARC-AGI-3 어댑터97.7% (2위)GPT-6 아스트라 99.9%
AA 지능지수65 (1위)제미나이 4 카본 60
원격 노동 지수(RLI)41.3%오퍼스 5.5 21.3%
블러드 온 더 클락타워GPT-6 아스트라보다 낮음GPT-6 아스트라 1위
자료=ARC 프라이즈, 아티피셜 애널리시스, 앤트로픽, 드와르케시 파텔

더디코더에 따르면 AI 평가 기관 아티피셜 애널리시스의 지능지수에서도 페이블 5.2는 65점으로 1위였어요. 다만 과제당 비용이 최대 26.5달러로 오퍼스 5.5(10달러)의 약 2.6배라 가성비 면에서는 GPT-6.1 솔 등이 앞서요.

아티피셜 애널리시스 AI 지능지수 비교
사진=아티피셜 애널리시스

페르마의 마지막 정리 30시간 만에 형식화

가장 눈길을 끈 건 수학·물리 성과예요. 앤트로픽은 페이블 5.2 에이전트 약 1,000개가 30시간 만에 페르마의 마지막 정리를 컴퓨터가 검증할 수 있는 언어(Lean)로 완전히 형식화했다고 밝혔어요.

ADVERTISEMENT
클로드 공식 계정 페르마 정리 형식화 발표
사진=클로드 공식 X 갈무리

같은 조건에서 오퍼스 5.5는 18시간 동안 26%만 완료했어요. 앤트로픽은 또 페이블 5.2가 블랙홀과 관련된 이론물리학 미해결 문제 2개를 풀었다며 관련 논문을 공개했어요.

“더 강한 모델 4도 있다”는 말은?

온라인 커뮤니티에서는 앤트로픽 자료로 알려진 성능 추세 그래프를 근거로 페이블 5.2가 내부의 ‘모델 3’에 해당하고, 이보다 강한 ‘모델 4’도 있다는 해석이 돌고 있어요.

다만 앤트로픽 공식 발표에는 ‘모델 3·모델 4’라는 표현이 없어요. 앤트로픽은 이전에 공개하지 않은 연구용 모델이 페르마 정리 형식화에 11일이 걸렸다고만 밝혔어요.

페이블 5.2는 현재 클로드 앱과 API, AWS·구글 클라우드·마이크로소프트 애저에서 쓸 수 있어요. 오픈AI와 구글이 어떤 후속 모델로 맞설지 관심이 모여요.

ADVERTISEMENT
이전 기사

답글 남기기

이메일 주소는 공개되지 않습니다. 필수 필드는 *로 표시됩니다

최신 기사