Janela de contexto
O que é a janela de contexto de um modelo de linguagem e o que ela significa para conversas longas no atendimento.
Tudo o que o LLM usa para responder precisa caber na janela: o prompt de sistema, a conversa até ali e os trechos da base de conhecimento. O que fica de fora, o modelo não enxerga naquela resposta.
No atendimento, isso pesa em conversas longas e em clientes com muito histórico. Se o sistema não organiza o que entra, o agente pode perder uma informação dada no começo e pedir de novo ao cliente.
Uma janela maior ajuda, mas aumenta o custo e o tempo de resposta, e texto demais pode desviar a atenção do modelo do que importa. Por isso, os agentes costumam resumir o histórico e buscar só os trechos relevantes, como no RAG.
Mais em Glossário
Agente de AI
O que é um agente de AI no contexto do atendimento ao cliente.
Agente de voz
O que é um agente de voz e como ele atende ligações no lugar do menu telefônico.
AHT (tempo médio de atendimento)
O que é AHT, Average Handle Time, como ele é calculado e como ler esse número numa operação com AI.