Continue com a GMI Cloud
Mantenha o fluxo de trabalho existente se os modelos disponíveis passarem nos seus testes e mudar de provedor introduzir mais incerteza do que benefício.
Funciona bem
-
Você pode avaliar com base nos prompts e nas saídas esperadas que já usa, em vez de julgar um modelo desconhecido a partir de uma única demonstração.
-
Manter a integração atual evita introduzir um segundo conjunto de formatos de saída, casos de falha e premissas operacionais.
Desvantagens
-
Não deduza a qualidade do modelo nem o acesso gratuito apenas pelo nome GMI Cloud; verifique o modelo exato e os termos atuais.
-
Um fluxo de trabalho existente pode ocultar resultados fracos se não houver prompts representativos e critérios de aceitação registrados.
Execute um modelo aberto localmente
Considere o Ollama com um modelo de tamanho adequado quando o controle local for importante e seu hardware puder produzir resultados aceitáveis.
Funciona bem
-
Você pode repetir os testes localmente e analisar como o mesmo modelo responde a mudanças nos prompts ou nas configurações.
-
Manter a inferência no seu dispositivo pode simplificar algumas decisões de tratamento de dados, dependendo do restante do seu fluxo de trabalho.
Desvantagens
-
Um modelo menor escolhido para caber na memória pode ter um desempenho diferente em raciocínio complexo, contexto longo ou tarefas especializadas.
-
Você precisa testar exatamente a variante do modelo que pretende executar; os resultados de uma variante hospedada maior não a substituem.
Experimente outro nível hospedado
Use um nível gratuito condicional para testar a adequação, não como prova de capacidade confiável a longo prazo.
Funciona bem
-
Um teste limitado pode revelar se um determinado modelo atende aos seus critérios de saída antes de você migrar uma aplicação.
-
A inferência hospedada evita comprar hardware apenas para avaliar um candidato.
Desvantagens
-
Limites de solicitações ou termos em constante mudança podem interromper uma avaliação ou tornar enganosa uma comparação para produção.
-
Diferentes provedores podem disponibilizar modelos, configurações e políticas de dados diferentes, mesmo quando suas interfaces parecem semelhantes.