Restez avec GMI Cloud
Conservez le workflow existant si ses modèles disponibles passent vos tests et si changer de fournisseur introduirait plus d’incertitude que de bénéfices.
Fonctionne bien
-
Vous pouvez évaluer les résultats à l’aide des prompts et des sorties attendues que vous utilisez déjà, plutôt que de juger un modèle inconnu à partir d’une seule démonstration.
-
Conserver l’intégration actuelle évite d’introduire un deuxième ensemble de formats de sortie, de cas d’échec et d’hypothèses opérationnelles.
Compromis
-
Ne déduisez pas la qualité du modèle ni la gratuité de l’accès du seul nom GMI Cloud ; vérifiez le modèle exact et les conditions actuelles.
-
Un workflow existant peut masquer de faibles résultats si aucun prompt représentatif ni critère d’acceptation n’a été défini.
Exécutez un modèle open source en local
Envisagez Ollama avec un modèle de taille adaptée lorsque le contrôle local est important et que votre matériel peut produire des résultats acceptables.
Fonctionne bien
-
Vous pouvez répéter les tests localement et examiner la façon dont le même modèle réagit aux changements de prompts ou de paramètres.
-
Conserver l’inférence sur votre appareil peut simplifier certaines décisions liées à la gestion des données, sous réserve du reste de votre workflow.
Compromis
-
Un modèle plus petit choisi pour tenir dans la mémoire peut se comporter différemment sur les raisonnements complexes, les contextes longs ou les tâches spécialisées.
-
Vous devez tester la variante exacte du modèle que vous comptez exécuter ; les résultats d’une variante hébergée plus grande ne la remplacent pas.
Essayez un autre niveau d’hébergement
Utilisez un niveau gratuit soumis à conditions pour tester l’adéquation, et non comme preuve d’une capacité fiable à long terme.
Fonctionne bien
-
Un essai limité peut révéler si un modèle particulier répond à vos critères de sortie avant que vous ne migriez une application.
-
L’inférence hébergée évite d’acheter du matériel uniquement pour évaluer un candidat.
Compromis
-
Les limites de requêtes ou l’évolution des conditions peuvent interrompre une évaluation ou rendre une comparaison en production trompeuse.
-
Différents fournisseurs peuvent proposer des modèles, des paramètres et des politiques de données différents, même lorsque leurs interfaces semblent similaires.