AI21 のようなワンストップ ショップ ビジネス ソリューションを強化しながら、生産性の点で既知の世界モデルをすべて上回る Jambo は、プロダクション グレードの Mamba ベースのメソッドで利用可能な最初のモデルになります。 Mamba SSM テクノロジーと古い Transformer アーキテクチャの要素を統合した Jamba は、より大きな言語モデル (LLM) の設計における新しいビジョンを表します。
LLM に革命を起こす
Jamba の登場は、通常の SSM および Transformers タイプのアーキテクチャの制約に効率的に対処する LLM の時代の変化を示しています。最大 256K のコンテキスト ウィンドウ サイズに挑戦した Jamba は、異なるベンチマークで同様の領域にある他のモデルよりも大きな優位性を持っていることがわかり、最高の効率とパフォーマンスの尺度として新たな基準を設定しました。
Jamba のアーキテクチャには、トランスフォーマー、マンバ、および相乗効果を発揮する混合専門家 (MoE) のハイブリッド システムとして構築される多くの側面があります。この統合により、大規模な言語タスクの主な焦点であるスループットとともにメモリ使用率の最適化が実装され、達成可能なパフォーマンスの限界が押し上げられます。
スケーラブルであることが Jamba の DNA であり、140 つの GPU のみを使用して XNUMXK を超えるコンテキストを処理できることを意味します。このスケーラビリティにより、操作と関与を独立した状態に保つことができ、学習と探索を支援し、新しい知識を生成し、AI コミュニティ内でのイノベーションを促進します。
マイルストーンの達成
Jamba の展開は、状況を一変させる現象であるだけでなく、LLM 研究分野における先駆的な前進でもあります。まず、Mamba と Transformer のアーキテクチャをうまく融合させ、この 2 つが共生生物のように連携するようになり、その組み合わせが個々の部分よりも本当に強力になることが判明しました。それに加えて、本文では、他の既存の SSM-Transformer のパワーと速度と、新しいコンテキストでより適切に動作する機能を組み合わせたハイブリッド SSM-Transformer バージョンを紹介します。
しかし、AI21 の製品担当副社長である Dagan 氏は、信じられないことを言い、Jamba の混合アーキテクチャ構造を最前線に置き続けました。彼は、Jamba の機敏性により、大量のユースケースの迅速な配信が可能になり、リアルタイムの迅速性がサポートされ、重要なユースケースの立ち上げが加速される仕組みについて説明しました。
オープンソースコラボレーション
Apache 2.0 ライセンスによる Jamba のオープン ウェイトのリリースは、AI21 がオープンソース コミュニティでこの種のコミッションを実装できることを意味します。 AI21 は、さらなる貢献とアイデアを奨励することで、新たな進歩を促進できる環境を提供することに尽力します。
NVIDIA GPU パイプラインを NIM 推論マイクロサービスとしてカプセル化すると、エンタープライズ アプリケーションを強化する Jamba アクセシビリティが簡素化されます。人間化: 摩擦のない統合により、日常のほぼすべてのシナリオで Jampa のアプリケーションをアップグレードしながら、迅速かつ問題なく展開できます。
AI21 による Jamba のリリースは、企業 AI 分野における重要なマイルストーンを意味します。 Jamba は、革新的なハイブリッド アーキテクチャ、比類のない拡張性、優れたモデル統合機能を提供することで、言語モデル業界を変革する態勢を整えています。したがって、顧客は、以前よりも簡単かつ迅速に、困難な言語タスクに取り組むことができるようになります。
AI21 はまた、NVIDIA のような大手 AI 企業とのオープンソース コラボレーションやビジネス パートナーシップへのサポートも示しており、これは技術進歩のペースを推進し、さまざまな分野で高効率の AI ソリューションの採用を増やすことへの同社の献身的な姿勢をさらに示しています。
しかし、Jamba は言語処理に関連するため、より広範な AI 環境の中でその地位を確立しつつあります。したがって、その影響は従来の言語処理プラットフォームの範囲をはるかに超えて、AI を活用した新たなビジネス ソリューションの到来をもたらすことになるでしょう。
出典: https://www.cryptopolitan.com/next-generation-ai-system-promises/