Observabilidade e avaliação automática

Quando a observabilidade do agente está ativa e existem objetivos definidos, o backend agenda uma avaliação da conversa após cada resposta do agente persistida na thread.

Comportamento

• Um job por conversa — a fila usa um identificador fixo por thread, evitando avaliações duplicadas em paralelo.
• Espera configurável — a variável AGENT_EVALUATOR_DELAY_MINUTES define quanto tempo aguardar após a última resposta do agente antes de rodar a avaliação (debounce).
• Atualização do contexto — se o agente enviar outra mensagem enquanto uma avaliação ainda está na fila, o sistema recombina o trabalho e adia de novo, avaliando sempre o último turno relevante.
• Limites opcionais — AGENT_EVALUATOR_CONCURRENCY e AGENT_EVALUATOR_RATE_LIMIT_PER_MIN controlam paralelismo e proteção contra picos no provedor de LLM da avaliação.

Quanto isso consome

A avaliação é feita por um modelo de IA, então cada avaliação consome tokens — exatamente como uma resposta do agente. Esse consumo aparece no seu relatório de uso e é descontado do saldo do workspace quando o modelo usado é cobrado.

Se você não quiser esse consumo, basta desligar a observabilidade do agente: sem ela, nenhuma avaliação é executada.

O que você precisa configurar

• Observabilidade ligada no agente e ao menos um objetivo cadastrado.
• No ambiente do backend: fila BullMQ e Redis habilitados (BULLMQ_ENABLED), além das variáveis do avaliador conforme documentação técnica.

Resultado

As notas e metadados da avaliação ficam associados ao score da thread e alimentam estatísticas de observabilidade para melhorar continuamente o atendimento.