業務アプリに使うLLMの選び方【2026年版】：評価・データの保存先・モデル廃止への備え

多くのモデル比較はランキング表から始まります。しかし、そのランキングの元になっているデータ自体が、順位で決めることの危うさを示しています。Stanford HAIの「AI Index 2026」は、トップモデルの性能が収束しつつあり、4社が25 Elo以内に並んでいると報告しています。また、最高のクローズドモデルと最高のオープンモデルの差は2026年3月時点で3.3%でした。2024年8月の0.5%からは広がったものの、依然として小さな差です。

同じレポートは、何年も難しいままのはずだったベンチマークが数か月で飽和していること、不適切な設問の割合がMMLU Mathの2%からGSM8Kの42%に及ぶという調査結果も紹介しています。公開スコアからわかるのは、そのモデルが「全般的に優秀かどうか」までです。自社の請求書を正しく読めるか、返金ポリシーに従えるか、ブランドにふさわしい日本語で書けるかは、自社の業務で測るしかありません。

主要ベンダーはどちらもこの工程を最初に置いています。OpenAIのモデル選定ガイドは、モデルを比較する前に合格基準を決めること、代表的なタスクで比較を繰り返すこと、そして品質と合わせて完了までの時間（結果の確認や手直しにかかる時間を含む）を測ることを推奨しています。Anthropicのガイドも、モデルのアップグレードや変更を判断するうえで、良い評価セットを持つことが最も重要なステップだとしています。

実務で使えるテストセットとは、業務で実際に発生する入力、熟練した担当者が出すであろう正解、そして各出力を合格・不合格と判定するルールをまとめた表のことです。

Anthropicは2つの始め方を示しています。「効率優先」は、高速で低コストなモデルから始めて十分にテストし、特定の能力が足りない場合にだけ上位モデルへ移る方法で、試作、厳しい応答速度の要件、大量かつ単純なタスクに向いています。「性能優先」は、そのタスクで最も強力なモデルから始め、業務が固まってから効率的な選択肢へ移る方法で、複雑な推論や、コストより正確性が重要な業務に向いています。

OpenAIのガイドは同じトレードオフを4つの問いで整理しています。その業務はどのくらいの頻度で実行されるか、結果がどのくらい早く必要か、出力をどう使うか、品質はどの程度重要か、です。そのうえで、同じ入力で比較し、品質基準を満たす最も軽い設定を採用するよう勧めています。両社とも1つのモデルの中で推論の深さ（effort）を調整する設定を提供しており、Anthropicはモデルを替えるよりeffortの調整のほうが有効な場合が多いとしています。

トークン単価だけで判断するのは危険です。安価なモデルでも、再実行が増えたり、プロンプトが長くなったり、人による修正が多く必要になったりすれば、完成した成果物1件あたりのコストは高性能なモデルを上回ることがあります。OpenAIのガイドが確認・手直しの時間を比較に含めているのはそのためです。候補は「正しく使える結果1件あたりの費用」で比べましょう。

カナダや日本の企業にとっては、この工程がどのベンチマークよりも候補を絞り込むことがよくあります。OpenAIのデータ管理に関するドキュメントによると、APIに送信したデータは、顧客がオプトインしない限り2023年3月1日以降モデルの学習に使われていません。一方で、プロンプトや応答を含み得る不正利用監視のログは、デフォルトで最大30日間保持されます。

細部が重要になるのがデータレジデンシーです。OpenAIはAPIプロジェクト向けにカナダと日本のリージョンを提供していますが、同社の一覧表ではどちらも「リージョン内保存」のみで、「リージョン内処理」には対応していません。ドキュメントには、リージョン内処理に対応していない地域では、顧客データがリージョン外で処理・一時保存される場合があると明記されています。また、米国以外のリージョンを使うには不正利用監視に関する管理機能の承認と、データ保持条件の変更契約（Modified Retention amendment）が必要です。2026年3月5日以降にリリースされた対象モデルでは、データレジデンシー用エンドポイントの料金が10%上乗せされます。

これはOpenAIに限らず、すべてのベンダーに当てはまります。保存データはどこに置かれるか、推論はどこで実行されるか、何がどのくらいの期間保持されるか、リージョン指定にいくらかかるかを確認してください。回答は開発が終わってからではなく、プライバシー審査の前に書面で受け取ることが大切です。

同じモデルでも、利用経路は主に3つあります。モデル提供元から直接使う、クラウド事業者のAIプラットフォーム経由で使う、そしてオープンウェイトモデルなら自社が管理する環境で動かす、です。どれを選ぶかで、契約相手、利用できるリージョン、モデルのライフサイクル管理が変わります。たとえばAnthropicのモデル廃止に関するドキュメントは、Amazon Bedrockなどパートナーが運用するプラットフォームは独自の廃止スケジュールを設定するため、モデルの状態や日付が提供元のAPIと異なる場合があると説明しています。

オープンウェイトモデルも公平に検討する価値があります。スタンフォードの2026年3月時点の測定では最高のクローズドモデルとの差が3.3%で、多くの業務には十分な場合があり、自社でホストすれば推論の実行場所を完全に管理できます。代わりに、ベンダーAPIなら任せられるホスティング、スケーリング、セキュリティパッチ、モデル更新を自社で担うことになります。評価は他の候補と同じテストセットで行います。

どのモデルを選んでも、そのバージョンが永久に使えるわけではありません。Anthropicのドキュメントによると、同社は古いモデルを定期的に廃止し、一般公開モデルの廃止は少なくとも60日前に通知します。廃止日を過ぎたモデルへのリクエストは失敗します。同社の一覧表では、claude-sonnet-4-5-20250929は2026年9月30日に非推奨となり、廃止予定日は2026年11月30日とされています。Anthropicは、廃止日よりかなり前に後継モデルでテストするよう勧めています。

ステップ1で作ったテストセットが一度きりの作業ではなく「資産」になるのはこのためです。移行作業は、勘に頼るのではなく、再実行と比較で判断できるようになります。

このリストは、モデル選定を承認する関係者（プロダクトオーナー、プライバシー担当、システムを保守するチーム）と一緒に判断を進めるための枠組みとして使えます。