# Decisions screening: methodologie van de ontwikkeltest

Datum: 13 oktober 2026. Model: `gpt-6-luna`.
Protocol: `generic-ensemble-v3`; bronvoorbereiding: `source-preparation-v5`.

Dit is een gekoppelde ontwikkeltest op twaalf eerder onderzochte reviews,
geen onafhankelijke externe validatie of gemeten productieprestatie.

## Cohort en selectie

Twaalf toegestane reviews uit SYNERGY: Appenzeller-Herzog, Bos, Donners,
Hall, Meijboom, Menon, Oud, Sep, Van Dis, Van de Schoot, Van der Valk en
Van der Waal. Oorspronkelijke populatie: 36.243 records; 558 positieve labels.
De test bevat alle 558 positieve records en 200 willekeurige negatieve
records per review: 2.958 records. Selectie identiek aan de eerdere pilot.

Chou, Jeyaraman en Moran zijn uitgesloten van nieuwe tests; Muthu staat in
quarantaine. Moeilijke criteria of lage recall zijn geen uitsluitingsgrond.
Individuele bron- en labelscopevragen bestaan ook bij toegestane reviews.
De oorspronkelijke referentielabels zijn niet gecorrigeerd.

## Componenten

- A: volledige algemene beoordeling, oorspronkelijke input, zonder plan of stemmen.
- B: brongebonden criteriumvragen; satisfied / violated / unknown; AND/OR in code.
- BC: B plus letterlijke bewijsextractie en geïnformeerde semantische controle C
  bij voorgestelde uitsluiting. Niet-bewezen overtredingen blokkeren geen route.
- D: blinde volledige beoordeling, focus op toegestane routes en ontbrekende
  informatie; geen afgeleid plan, citaten of eerdere beoordelingen.

Decisions levert categoriekeuzes. Responses verzorgt gestructureerde
bronvoorbereiding en bewijsextractie. Alle calls gebruiken hetzelfde model.
Onbekende informatie houdt een voorlopige inclusieroute open. Een bewezen
toepasselijke overtreding kan een route blokkeren, ook als andere gegevens
onbekend zijn. Iedere route moet geblokkeerd zijn voor criteriumuitsluiting.

## Aggregatie en controles

Vooraf gekozen primaire variant: A OR BC OR D. Eén geldige inclusiestem
behoudt; uitsluitend geldige exclusiestemmen sluiten uit; anders fallback
voor verdere menselijke beoordeling. Componentuitval blijft zichtbaar.

Vier afzonderlijke A-aanvragen met identieke API-bodies testen gewone
herhaling. Drie A-stemmen matchen het aantal Decisions-calls van A OR B OR D.
Een andere controle matcht het aantal artikelrequests van A OR BC, maar niet
de endpoints, tokens, dollarbudgetten of voorbereidingskosten.
Alle rollen en controles zijn op alle artikelen uitgevoerd.

Bronplannen zijn vóór artikelcalls gecontroleerd en gerepareerd op basis van
oorspronkelijke criteria. De agentcontrole is geen onafhankelijke
expertcertificering. Prompts, selectie, labels en aggregatie waren vóór
artikelcalls bevroren. Referentielabels en evaluatiemetadata gingen niet naar
de API. De reviews waren eerder al gebruikt voor foutenanalyse en ontwerp.

## Resultaten en maten

Primair: 554/558 positieve records behouden; vier gemist; geen fallback.
Micro recall: 99,2832%; macro recall: 99,6114%. Alle twaalf reviews halen
waargenomen ≥95%; minimum 98,0769%. De macro bootstrap over reviews geeft
een beschrijvend 95%-interval van 99,1783–100%.
De CSV bevat per-review 95%-Wilsonintervallen; bijvoorbeeld Hall
102/104 met interval 93,2577–99,4710%. Een waargenomen hoge score is geen
bewezen ondergrens voor ongeziene reviews.

Macro recall geeft iedere review hetzelfde gewicht; micro recall telt alle
positieve records samen. Modelrecall telt fallback niet als modelinclusie.
Routingrecall houdt fallback wel vast. Hier zijn er geen componentfallbacks.

Negatieve steekproefrecords krijgen per review het gewicht
`oorspronkelijke_negatieven / 200`. Positieven zijn volledig opgenomen.
Geschatte behouden populatiefractie primair: 73,8161%, dus 26,1839% minder
te beoordelen records. Het ongewogen gemiddelde van de reviewfracties is
83,3274% behouden, dus 16,6726% reductie. Geen gemeten tijdsbesparing.
Recallintervallen beschrijven niet de onzekerheid van deze werklastschatting.

## Uitvoering en archief

20.994 opgeslagen requestevents; 19.016 Decisions en 1.978 Responses;
50 gerichte tests en volledige offline antwoordreplay geslaagd.
Primair: 12.083 artikelcalls, plus 37 voorbereidingscalls. Gewone herhaalde
beoordelingen verschillen bij nul artikelen in categoriekeuze.

De oorspronkelijke 429-uitval en hervatting zijn apart bewaard.
358 uitgeputte transportaanvragen en 351 afhankelijke gevallen zijn
gearchiveerd; 1.877 al geslaagde deelantwoorden zijn exact behouden.
Herstel veranderde alleen transportbegrenzing, niet prompts of stemmen.
De herstelrun gaf nul nieuwe 429-antwoorden.

Standaardtariefschatting primaire artikelcalls $3,58224 + voorbereiding
$0,02649; volledige uitvoering met alle controles circa $4,55225.
Geen factuur: onbekende retry-/mislukte usage, cachewrites en toeslagen
zijn niet volledig inbegrepen. Requestduren omvatten deels wachttijd en
retries en zijn geen wandklok- of productie-latencymeting.

De volledige lokale evidencebundel bevat oorspronkelijke teksten, exacte
code, API-bodies en ruwe antwoorden, bronnen, diagnoses, mislukte calls en
gepaarde uitkomsten. Elke member heeft een SHA-256 en bytecount; de
gecomprimeerde bundle heeft een externe checksum. Publieke downloads
bevatten aggregaten en methodologie, geen ruwe API-traces of corpusdump.
Een lokale hash bevriest geen toekomstig gedrag van een modelalias.

## Resultaatbestanden en verwijzingen

[Resultaten en bronhash](summary.json), [per-reviewresultaten](per-review.csv).

Wetenschappelijke inspiratie:

- [Sanghera et al., JAMIA 2025](https://doi.org/10.1093/jamia/ocaf050).
- [Hu et al., Cochrane Evidence Synthesis and Methods 2025](https://doi.org/10.1002/cesm.70042).
- [Akinseloyin et al., Biology Methods and Protocols 2026](https://doi.org/10.1093/biomethods/bpag006).
- [OLIVER, preprint 2025](https://arxiv.org/abs/2512.20022).
- [Parmar et al., preprint 2026](https://pmc.ncbi.nlm.nih.gov/articles/PMC12934882/).
- [Decisions API-documentatie](https://developers.openai.com/api/docs/guides/decisions).

De publicaties evalueren verschillende taken, modellen, menselijke routing
en cohorten. Hun cijfers zijn geen onafhankelijke validatie van ons systeem.
