Molmo 2 - 最先端のビデオ理解、指示、追跡

Molmo 2は、ビデオのポイント、トラッキング、分析の能力を強化する最先端のビデオ理解ツールです。前モデルのMolmoの成功を基に、この新しいモデルはビデオとマルチイメージ理解の強みを拡張し、ロボティクス、交通監視、科学的測定などのさまざまなアプリケーションにとって重要なリソースとなっています。高度なアーキテクチャと広範なトレーニングデータを備えたMolmo 2は、マルチモーダルインテリジェンスの新しい基準を設定することを目指しています。

1. 三つのモデルバリアント

   • Molmo 2 (8B): Qwen 3に基づくビデオグラウンディングとQAのための最良の全体モデル。

   • Molmo 2 (4B): 強力なパフォーマンスを維持しながら効率性に最適化。

   • Molmo 2-O (7B): 完全な制御が必要な研究者向けにOlmoに基づいた完全オープンモデルフロー。

2. 最先端のパフォーマンス

   Molmo 2は、ビデオトラッキング、画像推論、人間の好み評価において以前のモデルや競合他社を上回り、優れたローカリゼーションと推論能力を示しています。

3. ビデオグラウンディングとトラッキング

   モデルはビデオカウントと空間的・時間的ローカリゼーションに優れ、数値的な回答だけでなく、クエリに対する具体的な視覚的証拠を提供します。

4. オープンで拡張可能なアーキテクチャ

   Molmo 2はビジョンエンコーダーとランゲージモデルのバックボーンを備え、空間、時間、言語にわたる共同推論を可能にし、マルチモーダル能力を強化します。

5. トレーニング用の豊富なデータセット

   密なキャプショニングとグラウンディングされたポイント/トラッキングのために特別に設計された9つの新しいデータセットを含む900万以上の例でトレーニングされており、さまざまなシナリオを包括的にカバーしています。

6. ユーザーフレンドリーなインターフェース

   Ai2 Playgroundで利用可能で、ユーザーはクリップや画像を簡単にアップロードしてビデオ要約、カウント、トラッキング、またはグラウンディングされたQAを実行できます。

1. Ai2 Playgroundを訪れてMolmo 2の機能を探求してください。
2. 分析のためにビデオクリップや複数の画像をアップロードしてください。
3. モデルを使用してビデオ要約、カウント、トラッキングタスクを実行してください。
4. グラウンディングされたQAを試して、モデルが視覚データをどのように解釈するかを確認してください。

Molmo 2とは何ですか？

Molmo 2は、ビデオポイント、トラッキング、分析などのタスクのために設計された高度なビデオ理解モデルで、マルチモーダルインテリジェンスアプリケーションを強化します。

Molmo 2はどのように機能しますか？

ビジョンエンコーダーとランゲージモデルを使用してビデオフレームと画像を処理し、視覚データとテキストデータにわたる共同推論を可能にします。

Molmo 2を商業プロジェクトに使用できますか？

Molmo 2は、学術および非商業研究用にApache 2.0の下でライセンスされています。特定の使用ケースについてはライセンス条件を確認してください。

Molmo 2は他のモデルとどのように比較されますか？

Molmo 2はビデオ理解において新しいベンチマークを設定し、さまざまな評価においてオープンウェイトモデルとプロプライエタリシステムの両方を上回ります。

価格データはまだ利用できません。詳細については公式ウェブサイトをご覧ください。

1. 強み: Molmo 2は、ビデオ理解において卓越した能力を示し、さまざまなベンチマークで以前のモデルや競合他社を上回っています。そのアーキテクチャは、複数のモダリティにわたる効果的な推論を可能にし、研究者や開発者にとって多用途のツールとなっています。

2. 改善の余地: Molmo 2は多くの分野で優れていますが、長いビデオ理解においては、より大きなプロプライエタリシステムが優位性を持っているため、改善の余地があります。また、ユーザーインターフェースとアクセシビリティのさらなる改善が、非技術的ユーザーへの魅力を広げる可能性があります。

3. 全体的な印象: Molmo 2はビデオ理解技術の重要な進展であり、さまざまなアプリケーションに対して堅牢なツールを提供しています。ただし、継続的な開発とユーザーフィードバックが、その進化と分野での広範な採用にとって重要です。