Projetos de inteligência artificial costumam ser aprovados com um número e avaliados com uma impressão. A planilha promete redução de custo; a reunião de balanço fala em agilidade e time satisfeito. Jean Pierre Lessa e Santos Ferreira, CTO, nota que essa troca de vocabulário no meio do caminho é o que impede a empresa de saber se deve ampliar, corrigir ou encerrar o projeto.
Medir resultados de IA não exige um painel sofisticado. Exige decidir, antes de ligar qualquer coisa, qual número responde pela decisão e o que faria a empresa mudar de ideia. As perguntas a seguir são as que mais aparecem quando o piloto termina e alguém precisa dizer se funcionou.
O que medir quando o modelo é só uma parte do processo?
O resultado é do processo, não do modelo. Escolha uma métrica principal de operação, como tempo de ciclo, taxa de retrabalho ou custo por tarefa concluída, e uma métrica de guarda, que mostre se a qualidade caiu enquanto a velocidade subia. Acurácia, latência e uso de tokens são diagnóstico interno, úteis para ajustar, insuficientes para justificar.
O custo entra na mesma conta, sem separação. Some licenças, infraestrutura, integração e o tempo de quem revisa, divida pelo número de tarefas concluídas e compare com o custo da mesma tarefa antes. Uma terceira medida ajuda a explicar o resto: a proporção de casos em que a sugestão foi aceita sem alteração.
Acurácia alta significa projeto bem-sucedido?
Não, o caso clássico é a base desequilibrada. Se noventa e cinco por cento das transações são legítimas, um modelo que aprova tudo acerta noventa e cinco por cento das vezes e não serve para nada. Mesmo assim, Jean Pierre Lessa e Santos Ferreira considera o percentual isolado o número mais citado e o menos informativo de todos.
Erros também não custam igual. Bloquear uma compra legítima irrita um cliente; liberar uma fraude gera perda direta e trabalho de recuperação. A medida honesta separa os dois tipos de engano, conta quantos aconteceram de cada lado e multiplica pelo custo respectivo. O total dessa conta diz mais do que qualquer percentual de acerto.
Como isolar o efeito da IA do resto?
Sem comparação, todo número vira coincidência. A forma mais confiável é liberar o recurso para parte do time e manter a outra parte no processo atual, no mesmo período, com volume semelhante. Quando isso não é possível, compare semanas equivalentes e registre o que mais mudou no intervalo, porque quase sempre mudou alguma coisa.
Há ainda o efeito da atenção. Durante o piloto, o time olha o próprio trabalho com mais cuidado, e parte da melhora vem daí. Congelar o processo enquanto se mede, anotar cada ajuste feito em paralelo e evitar meses atípicos reduz a chance de atribuir à tecnologia um ganho que veio de outro lugar.
Quando o resultado deveria aparecer?
As primeiras semanas costumam piorar os números. As pessoas ainda aprendem a usar, revisam demais por desconfiança e o tempo por tarefa sobe. Antes de encerrar um piloto, uma prática que Jean Pierre Lessa e Santos Ferreira sugere é fixar de antemão a janela de avaliação e o patamar que autoriza seguir, para que a decisão não dependa do humor da última semana.
Depois disso, um sinal específico merece acompanhamento: o tempo de revisão. Ele precisa cair conforme a confiança se calibra e as exceções vão sendo documentadas. Se três meses depois a revisão consome o mesmo esforço do início, o ganho prometido não virá, e insistir apenas adiará uma decisão que já está tomada pelos números.
Medir para decidir, não para justificar
Existe um teste simples para saber se a medição é séria. Pergunte qual resultado faria a empresa desligar o projeto. Se nenhum número responde a essa pergunta, o painel não serve para decidir, serve para confirmar o que já se queria fazer, e o esforço de coleta vira ritual.
O valor que sobra de um projeto bem medido é o critério, não o resultado daquela iniciativa. A empresa que definiu métrica principal, métrica de guarda e janela de avaliação uma vez repete o desenho no projeto seguinte e discute a proposta nova com os mesmos parâmetros na mesa.
