Plano seguro de medição · O stream observável

Defina métricas que não mudam de significado

Use marcos monotônicos para TTFT, TTFE, TPS visível e latência total.

Fontes locais primárias: plano, matriz por modelo, plano por célula, manifesto e inventário sanitizado.

A ideia em linguagem simples

O cronômetro começa quando o último byte da requisição sai. O primeiro evento não é necessariamente o primeiro token que você vê. Por isso o plano mede TTFE e TTFT separadamente. O TPS usa apenas tokens visíveis entre o primeiro e o último delta visível.

Pense nesta medição como uma balança lacrada: se você troca a balança ou move o objeto no meio, o número perde o significado. A analogia quebra porque gateways também podem transformar o pedido, não apenas pesar.

TTFT = t_first_visible − t_send. TTFE = t_first_event − t_send. TPS visível = tokens visíveis ÷ (t_last_visible − t_first_visible). Latência total = t_done − t_send. Reasoning anterior ao texto recebe uma métrica separada.

Trecho verificável

TTFT = t_first_visible - t_send\nTPS  = visible_tokens / visible_seconds\nTOTAL = t_done - t_send

outputs/BENCHMARK-MEASUREMENT-PLAN.md · outputs/benchmark-cell-plan.csv · outputs/planned-run-manifest.json

O caminho em uma imagem

Warp → sidecar → CLIProxyAPI → provider → proof gate

Teste de recuperação

Qual evento encerra o TTFT principal?