Plano seguro de medição · Compatibilidade funcional

Meça tools como o Warp realmente envia

Use 33 schemas inertes e diferencie tool use nativo de adaptação do sidecar.

Fontes locais primárias: plano, matriz por modelo, plano por célula, manifesto e inventário sanitizado.

A ideia em linguagem simples

O teste não executa shell nem rede. Ele oferece 33 ferramentas inertes, pede uma função determinística e devolve o resultado localmente. O sucesso exige nome, JSON válido e uso correto do resultado — não apenas HTTP 200.

Pense nesta medição como uma balança lacrada: se você troca a balança ou move o objeto no meio, o número perde o significado. A analogia quebra porque gateways também podem transformar o pedido, não apenas pesar.

O sidecar injeta uma dica fish quando há tools. Qwen, DeepSeek e GLM recebem tool_choice normalizado para auto. Kimi tem histórico de tools achatado em texto. Esses resultados são compatibilidade emulada quando aplicável, não capacidade nativa.

Trecho verificável

tools = 33 inert schemas\nfunction = get_benchmark_nonce\nside_effects = none

outputs/BENCHMARK-MEASUREMENT-PLAN.md · outputs/benchmark-cell-plan.csv · outputs/planned-run-manifest.json

O caminho em uma imagem

Warp → sidecar → CLIProxyAPI → provider → proof gate

Teste de recuperação

HTTP 200 basta para aprovar tools?