往時、高度に汎用性の高い生成AIモデルが主流であり、おそらく今でもそうであると言えます。しかし、クラウドベンダーが次々と生成AIの戦いに参加するなか、企業向けの最も深いポケットを持つ顧客に焦点を当てた新しいモデルが出てきています。

その一例が、クラウドコンピューティング会社であるSnowflakeです。今日、同社は「エンタープライズグレード」と説明される生成AIモデル「Arctic LLM」を発表しました。Apache 2.0ライセンスの下で利用可能なArctic LLMは、「エンタープライズのワークロード」、Snowflakeによるとデータベースコードの生成などに最適化されており、研究や商用利用には無料です。

「これは、私たちSnowflakeと私たちの顧客がエンタープライズグレードの製品を構築し、実際にAIの約束と価値を実現し始めるための基盤として機能すると思います」とCEOのSridhar Ramaswamyはプレスブリーフィングで述べています。「これは私たちの最初であり、しかし大きな、生成AIの世界で、まだたくさんのものが到来するという考えでこのモデルを考えてください。」

エンタープライズモデル

私の同僚であるDevin Coldeweyが最近、生成AIモデルの攻撃が止まる気配がないと書いていました。彼の記事を読むことをお勧めしますが、要点は次のようになります。モデルはベンダーが自社のR&Dに興奮を呼び起こす簡単な方法であり、彼らの製品エコシステム（モデルホスティング、微調整など）へのフィードともなります。

Arctic LLMも例外ではありません。 Arcticという生成AIモデルファミリーの旗艦モデルであるArctic LLMは、約3か月、1,000台のGPU、$2 millionをかけてトレーニングされた指向性AIモデルDBRX、企業向けに最適化された生成AIモデルも引き続き販売しています。

Snowflakeは、Arctic LLMとDBRXをそのプレス資料で直接比較し、Arctic LLMはコーディング（Snowflakeはどのプログラミング言語かを指定していません）およびSQL生成という2つのタスクでDBRXよりも優れていると述べています。同社は、Arctic LLMが後発のLlama 3 70Bよりもこれらのタスクにも優れているとも述べています。

Snowflakeはまた、Arctic LLMが一般的な言語理解ベンチマークであるMMLUで「トップパフォーマンス」を達成していると主張しています。ただし、MMLUは生成モデルが論理問題を理解する能力を評価すると宣言していますが、暗記で解けるテストも含まれているため、この点は慎重に考える必要があります。

「Arctic LLMはエンタープライズセクター内の特定のニーズに対応しています」とSnowflakeのAI担当者であるBaris GultekinはTechCrunchのインタビューで語っています。「詩を作成するなどの一般的なAIアプリケーションから逸れて、SQL共同作業者や高品質チャットボットの開発など、エンタープライズ向けの課題に集中しています。」

いたるところで実行

Snowflakeは、特定のユースケースに合わせてモデルを最適化するためのコーディングテンプレートやトレーニングソースのリストなどのリソースをArctic LLMと共に提供しており、ユーザーがモデルを起動して特定の使用方法に微調整するプロセスを案内します。ただし、それらはほとんどの開発者にとって高価で複雑な作業となる可能性があることを認識し（Arctic LLMの微調整や実行には約8台のGPUが必要）、SnowflakeはHugging Face、Microsoft Azure、Together AIのモデルホスティングサービス、企業向けの生成AIプラットフォームLaminiなど、さまざまなホストでArctic LLMを利用可能にすることを約束しています。

しかし、ここで問題が発生します。Arctic LLMはまず最初に、AIや機械学習を活用したアプリケーションやサービスを構築するSnowflakeのプラットフォームであるCortex上で利用可能になります。同社は、Arctic LLMを実行する際の「セキュリティ」、「ガバナンス」、「拡張性」を重視した方法としてCortexを推奨しています。

「ここでの夢は、1年以内に顧客がデータと直接対話できるAPIを提供することです」とRamaswamyは述べています。「簡単にオープンソースのモデルを待って使用すると言うこともできましたが、それ代わりに、私たちのお客様にさらなる価値を引き出すと思うので、基本的な投資を行っています」。

そこで私は疑問に思います。Snowflakeの顧客以外にArctic LLMは本当に必要なのでしょうか？

ほとんどすべての目的に微調整可能な「オープン」生成モデルが存在する環境で、Arctic LLMは明らかな方法で際立っていません。そのアーキテクチャによって、他のオプションよりも効率が向上することがあるかもしれません。しかし、それがエンタープライズから無数の他のよく知られたビジネス向け生成モデル（例：GPT-4）に企業を引きつけるほど劇的であるとは確信していません。

また、Arctic LLMのデメリットについて考えるべき点もあります。それは比較的小さなコンテキストです。

生成AIにおいて、コンテキストウィンドウは、モデルが出力を生成する前に考慮する入力データ（テキストなど）を指します。コンテキストウィンドウが小さいモデルは、非常に最近の会話の内容さえ忘れやすくなっていますが、コンテキストが大きいモデルは通常、この落とし穴を避ける傾向があります。

Arctic LLMのコンテキストは、微調整方法に応じて約8,000から24,000語の間で、AnthropicのClaude 3 OpusやGoogleのGemini 1.5 Proなどのモデルよりも大幅に低いです。

Snowflakeはマーケティングで触れていませんが、Arctic LLMはおそらく他の生成AIモデルと同様に、制限や欠点を抱えているでしょう。これはつまり、ほかの生成AIモデルと同様に、堂々としたリクエストに間違った回答をする「幻覚」を持っているということです。なぜなら、Arctic LLMは他のすべての生成AIモデルと同様に、統計的確率マシンであり、再び、小さなコンテキストウィンドウを持っているからです。それは膨大な例に基づいて推測し、どのデータをどこに配置するのが最も「意味がある」と考えるかを知るものです（たとえば、「私はマーケット」の前に「行く」という単語がある文で、「私はマーケットに行く」という文章）。それは必ず誤った推測をします-そしてそれが「幻覚」です。

Devinが記事の中で書いているように、次の大きな技術的進歩があるまで、生成AI領域では段階的な改善だけが私たちが楽しみにしているものです。しかし、それはSnowflakeのようなベンダーが彼らを素晴らしい成果として称賛し、それを有効活用していることを止めるわけではありません。