サハラAI、マイクロソフトと協業…「MathVista」で高精度データラベリングを実施

ブロックチェーン基盤の人工知能（AI）データプラットフォームであるサハラAI（SAHARA）は19日、マイクロソフト（MS）と協力し、マルチモーダルAI（画像・テキストなど多様な情報を同時に処理するAI）の推論能力を評価するベンチマーク「MathVista（MATHVISTA）」を構築したと発表した。

MathVistaはAIモデルの数学的思考力を測定する評価フレームワークだ。ChatGPT、Bard、Claude、Geminiなど主要な生成AIの性能検証に活用されている。

サハラAIはMathVistaの構築において、6000件超のデータラベリングを担当して実施した。データラベリングは、AIが問題を理解し解けるよう学習用データを加工する作業である。具体的には、▲算術・代数 ▲幾何・統計 ▲高度STEMロジック ▲時系列の数値推論 ▲数値常識推論など、幅広い領域にわたりデータラベリングが行われた。

特に今回のプロジェクトでは、単純な分類ではなく高精度のデータラベリングが求められた。マイクロソフトがサハラAIを選んだ背景だ。

マイクロソフト・リサーチの主席研究員であるハオ・チェン（HaoCheng）氏は「今回のプロジェクトは、複雑な指示の理解、厳格な作業者テスト、そして論理的推論に基づく精密なラベリングを要した」とし、「既存のクラウドソーシング・プラットフォームでは遂行が難しい水準だった」と説明した。

一方、MathVistaは公開以降、世界各地の研究機関および企業で活用されている。直近1カ月で1万3000件超ダウンロードされ、累計ダウンロード数は27万件を超えた。

MathVistaを用いて主要AIモデルを評価した結果、最高性能モデルであるGPT-4Vの正確度は49.9%にとどまり、人間より約10%低い水準となった。これは、マルチモーダルAIの推論性能にはなお改善余地があることを示す結果だと同社は説明した。

サハラAIの共同創業者兼最高経営責任者（CEO）であるショーン・レン（SeanRen）氏は「マイクロソフトとの協業は、高品質データがAI性能の基準を引き上げるうえで中核的な役割を果たすことを示している」とし、「今後、グローバルパートナーとの協力を拡大し、AIインフラ構築を継続する計画だ」と述べた。両社は今後、追加の共同プロジェクトも推進する予定だ。