GMI Cloudを使い続ける
利用可能なモデルがテストに合格しており、プロバイダーの変更によるメリットより不確実性のほうが大きい場合は、現在のワークフローを維持します。
適している点
-
なじみのないモデルを1回のデモだけで判断するのではなく、すでに使用しているプロンプトと期待される出力を基準に評価できます。
-
現在の連携を維持すれば、出力形式、障害時の挙動、運用上の前提を新たに増やさずに済みます。
トレードオフ
-
GMI Cloudという名前だけでモデルの品質や無料での利用可否を判断せず、対象のモデルと現在の利用条件を確認してください。
-
代表的なプロンプトと合格基準を記録していない場合、既存のワークフローでは結果の弱さが見過ごされることがあります。
ローカルでオープンモデルを実行する
ローカルでの管理が重要で、ハードウェアで許容できる結果を得られる場合は、適切な規模のモデルをOllamaで使うことを検討してください。
適している点
-
ローカルでテストを繰り返し、プロンプトや設定の変更に対して同じモデルの応答がどう変わるかを確認できます。
-
推論をデバイス上で行えば、ワークフローのほかの部分にもよりますが、データの取り扱いに関する判断を一部簡素化できます。
トレードオフ
-
メモリに収めるために選んだ小規模なモデルは、複雑な推論、長いコンテキスト、専門的なタスクで異なる性能を示す場合があります。
-
実際に実行する予定のモデルのバリアントをテストする必要があります。ホスト環境で動く、より大規模なバリアントの結果では代用できません。
別のホスティングサービスのプランを試す
条件付きの無料プランは適合性を試すために利用し、長期的に安定した処理能力が得られる証拠とは考えないでください。
適している点
-
限定的な試用でも、アプリケーションを移行する前に、特定のモデルが出力基準を満たすかどうかを確認できます。
-
ホスト型の推論なら、候補を評価するためだけにハードウェアを購入せずに済みます。
トレードオフ
-
リクエスト数の制限や利用条件の変更によって評価が中断されたり、本番運用を想定した比較が実態を反映しなくなったりすることがあります。
-
インターフェースが似ていても、プロバイダーによって利用できるモデル、設定、データに関するポリシーは異なる場合があります。