Faça o stream contar a verdade
Distinga cabeçalhos, SSE válido, reasoning, conteúdo visível e evento terminal.
A ideia em linguagem simples
Um stream pode abrir rápido e ficar silencioso antes de mostrar texto. Também pode fechar sem um evento terminal. O harness guarda cada marco e só chama a amostra de sucesso quando o fluxo termina de modo coerente.
Pense nesta medição como uma balança lacrada: se você troca a balança ou move o objeto no meio, o número perde o significado. A analogia quebra porque gateways também podem transformar o pedido, não apenas pesar.
O relógio é monotônico e de alta resolução. Tokens vêm primeiro do usage terminal separado de reasoning; depois de tokenizer exato; por último de estimativa rotulada. Sem base honesta, TPS é N/A e caracteres/s permanece como auxiliar.
Trecho verificável
t_send → t_headers → t_first_event\n → t_first_reasoning → t_first_visible\n → t_last_visible → t_done
outputs/BENCHMARK-MEASUREMENT-PLAN.md · outputs/benchmark-cell-plan.csv · outputs/planned-run-manifest.json
O caminho em uma imagem
Teste de recuperação
Sem tokenização confiável, o que acontece com TPS?