Budget de contexte

Choisir ce que le modèle doit recevoir

Un contexte encombré répète l’historique, les extraits, les logs et les consignes. Avant de choisir un plus gros modèle, identifier les éléments nécessaires à la décision : preuves, corrections, interdictions et informations manquantes. Mesurer la taille aide à diagnostiquer ; réduire demande ensuite de vérifier que ces éléments ont survécu. Une réponse plus courte peut avoir perdu la seule contrainte utile.

Sélection déterministe et limites

string selected = string.Join('\n', corpus.Split('\n').Where(line =>
    line.StartsWith("Client :", StringComparison.OrdinalIgnoreCase)
    || line.StartsWith("Situation :", StringComparison.OrdinalIgnoreCase)
    || line.StartsWith("Impact :", StringComparison.OrdinalIgnoreCase)
    || line.StartsWith("Contrainte", StringComparison.OrdinalIgnoreCase)
    || line.StartsWith("Point métier", StringComparison.OrdinalIgnoreCase)
    || line.Contains("billing.outbound", StringComparison.OrdinalIgnoreCase)));
if (string.IsNullOrWhiteSpace(selected))
    throw new InvalidDataException("The explicit scenario filter selected no lines. No fallback.");

demos/Demo440_ContextBudget/Program.cs · L19–L27 · 9a895c94534c

Code source · Demo440 · Dossier

• demos/Demo440_ContextBudget/Demo440.App.csproj

Demo440 lit dossier_support_volumineux.txt et sélectionne des préfixes précis de la fixture ainsi que billing.outbound. Le texte brut et la sélection passent ensuite au modèle. Ce filtre n’est ni un compresseur universel ni un moteur RAG ; les vrais vecteurs SQLite restent le sujet dédié. Une sélection vide est rejetée, sans résumé de secours inventé.

Le programme affiche caractères et estimation caractères/4 hors instructions et question. La capacité maximale du contexte du fournisseur, le nombre de tours du harness et un budget monétaire sont des limites différentes. Demo440 compare des politiques ; il n’implémente pas le menu historique naïf/protégé/rapport ni un refus automatique général selon trois tailles d’entrée.

Comparer les pertes avant les économies

Dans cette fixture, Reporting/PostgreSQL sont corrigés en Billing/SQL Server 2022 et le batch nocturne ne doit pas redémarrer. La question finale demande module, base et action interdite. Comparer les réponses à ces faits avant d’annoncer un gain. La fenêtre récente peut les avoir supprimés ; un résumé peut les reformuler incorrectement ; les faits extraits restent soumis aux validations de mémoire.

• Faits contrôlés et dérive du contexte

Comptabiliser tout le pipeline

Console.WriteLine("This line filter is deterministic selection for this fixture. Native MAF compaction and history policies follow.");
await ContextExperiment.RunAsync(chat, stop.Token);
Console.WriteLine("Experiment coverage including auxiliary calls: " + JsonSerializer.Serialize(ledger.Summarize()));
Console.WriteLine("All extraction, summary and compaction calls are reported separately. No cost or savings claim; answer quality must be evaluated separately.");

demos/Demo440_ContextBudget/Program.cs · L36–L39 · 9a895c94534c

Code source · Demo440 · Dossier

• demos/Demo440_ContextBudget/Demo440.App.csproj

Le ledger inclut appels brut/sélectionné, extractions, résumé, comparaisons et parcours compacté. La taille sérialisée de la session mesure du stockage, pas des tokens. La compaction par fenêtre de cette implémentation ne génère pas elle-même un résumé ; les tours du parcours restent observés. D’autres stratégies peuvent appeler un modèle et doivent aussi être comptées.

Pour une comparaison exploitable, noter politique, provenance des données, couverture des compteurs, appels auxiliaires, durée, faits présents et manquants, profil et répétitions. L’ordre fixe, l’échauffement, le cache et les tokenizers peuvent biaiser la comparaison. Le cache de prompt est une possibilité du fournisseur, sans preuve de hit dans ces sorties. Aucun pourcentage d’économie n’est publié ici.

Portée de l’expérience

Les comptes de caractères sont déterministes pour le fichier distribué ; les réponses générées ne le sont pas. La fidélité métier et la performance exigent une évaluation séparée. Le routage de modèles appartient à Demo480, pas à ce filtre. Aucun embedding, Qdrant ou Docker n’est nécessaire pour Demo440. La sortie console contient les réponses destinées au lecteur ; ne pas la confondre avec SafeSpan.

Relier mesure et fidélité

• Demo440 — Context Budget

• Télémétrie et usage

• Candidat, juge et qualification