Achtergrond

Een matig tot ernstig hoofdletsel bij kinderen, adolescenten en volwassenen vereist een onmiddellijke hersenscan, omdat een snelle neurochirurgische ingreep de mortaliteit en de morbiditeit kan verminderen (1). Hoofdletsels zijn frequenter van mineure aard en er is een (zeer) klein risico van ernstig intracranieel letsel. Bij de kinderen met een mild hoofdletsel kan een klein aantal echter wel een ernstig intracranieel letsel hebben. Een hersenscan laat een snelle diagnose toe, maar de systematische uitvoering van een CT-scan bij kinderen kan problemen veroorzaken: dikwijls is sedatie vereist, kinderen lopen het risico van straling, de interventie is duur en vereist technische beschikbaarheid. Er zijn al klinische beslisregels gevalideerd voor een adequaat gebruik van CT-scan bij volwassenen met mild hoofdletsel (2,3). Die zijn echter niet toepasbaar bij kinderen. Voor kinderen (jonger dan 18 jaar) met hoofdletsel zijn er 3 klinische diagnostische beslisregels ontwikkeld en gevalideerd om na te gaan of een hersenscan nodig is: PECARN (de beslisregel ontwikkeld door het Pediatric Emergency Care Applied Research Network) (4), CATCH (Canadian Assessment of Tomography for Childhood Head injury) (5) en CHALICE (Children’s Head injury Algorithm for the prediction of Important Clinical Events) (6). In de hier besproken studie vergelijkt de PREDICT-onderzoeksgroep de diagnostische accuraatheid van deze 3 algoritmes in een multicenter onderzoek bij een identieke populatie, wat tot nu toe nog niet gebeurd was.

 

Samenvatting

Bestudeerde populatie

• inclusiecriteria: patiënten jonger dan 18 jaar die zich aanbieden op een spoeddienst in Australië en Nieuw-Zeeland met een al dan niet ernstig hoofdletsel
• exclusiecriteria: kinderen met licht aangezichtsletsel, kinderen verwezen via het triagesysteem van een spoeddienst, kinderen die al cerebrale beeldvorming ondergingen voor hun letsel
• cohort voor de validatiestudie: 20 137 kinderen met beschikbare gegevens voor analyse; 19 147 (95%) dienden zich aan op de spoeddienst binnen de 24 uur na het letsel; gemiddelde leeftijd van 5,7 jaar; 26,7% van de kinderen was jonger dan 2 jaar; 63,7% jongens; 95,4% van de kinderen had een score van 15 op de Glasgow Coma Scale
• cohort voor de vergelijking van de 3 beslisregels: 18 913 kinderen (94% van het validatiecohort) die zich aanboden binnen de 24 uur na het letsel; GCS-score van 13 tot 15.

Onderzoeksopzet

• prospectieve cohortstudie met validatie van 3 beslisregels en vergelijking van de accuraatheid van deze 3 regels bij een identieke populatie maar rekening houdend met de specifieke criteria van elke regel
• afname van de Glasgow Coma Scale bij de initiële triage
• registratie van spoeddienst- en ziekenhuisgegevens; telefonische opvolging tot 90 dagen na het letsel van de kinderen die initieel geen hersenscan ondergingen; opvraging van de gegevens (beeldvorming, neurochirurgie) indien een kind op basis van de telefonische opvolging een ander ziekenhuis raadpleegde; overleg tussen onderzoekers en radiologen over de interpretatie van de beeldvorming; centrale revisie van de CT-rapporten met revisie door een derde partij bij discrepanties.

Uitkomstmeting

• PECARN, CATCH en CHALICE hebben elk verschillende en duidelijk omschreven voorspellende variabelen*
• primaire uitkomstmaat: zie tabel 1 voor elke klinische beslisregel
• belangrijkste uitkomstmaat voor de vergelijking van de 3 klinische beslisregels (op basis van consensus tussen de auteurs): klinisch belangrijk hersenletsel zoals gedefinieerd door PECARN; andere uitkomstmaten: hersenletsel op CT-scan, noodzaak van neurochirurgische interventie.

 

Resultaten

• validatiestudie: zie tabel 1 voor de resultaten; CATCH met 4 variabelen die een hoog risico voorspellen en CHALICE hebben een goede uitsluitende kracht; PECARN heeft een sterke tot zeer sterke uitsluitende kracht
• vergelijking van de 3 klinische beslisregels: zie tabel 2 voor het aantal kinderen met klinisch belangrijk hersenletsel; de resultaten voor het aantal kinderen met hersenletsel op CT-scan en met een neurochirurgische interventie zijn gelijklopend.

Tabel 1. Resultaten voor de validatie van de 3 klinische beslisregels bij kinderen met een hoofdletsel (globale cohort).

	PECARN <2 jaar	PECARN ≥2 jaar	CATCH 4 variabelen die een hoog risico voorspellen	CATCH 7 variabelen	CHALICE
Aantal kinderen	4 011	11 152	4 957	4 957	20 029
Primaire uitkomstmaat	klinisch belangrijk hersenletsel	klinisch belangrijk hersenletsel	noodzaak van neurochirurgische interventie	hersenletsel op CT-scan	klinisch belangrijk hoofdletsel
Frequentie van de uitkomstmaat in de validatiestudie	1,4%		0,9%		2,0%
Sensitiviteit (95% BI)	100% (90,7 tot 100,0)	99% (94,4 tot 100,0)	95,2% (76,2 tot 99,9)	88,7% (82,2 tot 93,4)	92,3% (89,2 tot 94,7)
Specificiteit (95% BI)	53,8% (52,3 tot 55,4)	45,8% (44,9 tot 46,8)	84,2% (83,2 tot 85,2)	56,4% (55,0 tot 57,8)	78,1% (77,5 tot 78,7)
Aantonende kracht (95% BI)**	2,17 (2,10 tot 2,24)	1,83 (1,78 tot 1,88)	3,55 (3,19 tot 3,99)	2,64 (2,47 tot 2,83)	1,51 (1,46 tot 1,56)
Uitsluitende kracht (95% BI)**	zeer sterk	45,5 (6,4 tot 333)	15,38 (2,27 tot 100)	5,85 (3,69 tot 9,25)	5 (3,56 tot 7,04)

   ** door de redactie berekend op basis van de 2x2-contingentietabellen.

 

Tabel 2. Vergelijking van de 3 klinische beslisregels bij een identieke populatie (94% van het globale cohort) voor het aantal kinderen met een klinisch belangrijk hersenletsel op basis van de PECARN-definitie.

.

	PECARN <2 jaar	PECARN ≥2 jaar	CATCH	CHALICE
Aantal kinderen met een klinisch belangrijk hersenletsel en negatief resultaat voor de beslisregel	0 op 5 046	1 op 13 867	13 op 18 913	12 op 18 913
Sensitiviteit (95% BI)	100% (91,6 tot 100,0)	99,2% (95,4 tot 100,0)	91,9% (86,5 tot 95,6)	92,5% (87,3 tot 96,1)
Specificiteit (95% BI)	59,1% (57,7 tot 60,5)	52,0% (51,1 tot 52,8)	70,4% 69,7 tot 71,0)	78,6% (78,0 tot 79,2)
Aantonende kracht (95% BI)***	2,44 (2,36 tot 2,52)	3,20 (3,12 tot 3,29)	2,10 (2,00 tot 2,21)	4,32 (4,10 tot 4,55)
Uitsluitende kracht (95% BI)***	zeer sterk	83 (11,8 tot 500)	6,94 (4,11 tot 11,63)	10,53 (6,10 tot 18,18)

   *** door de redactie berekend op basis van de 2x2-contingentietabellen.

Besluit van de auteurs

De auteurs besluiten dat de sensitiviteit van de 3 klinische beslisregels bij kinderen met een hoofdletsel hoog is als de algoritmes aangewend worden conform aan hun opzet. De bevindingen zijn een belangrijk uitgangspunt voor clinici die de introductie van 1 van de 3 beslisregels overwegen.

Financiering van de studie

National Health and Medical Research Council, Emergency Medicine Foundation, Perpetual Philanthropic Services, WA Health Targeted Research Funds, Townsville Hospital Private Practice Fund, Auckland Medical Research Foundation en A + Trust die in geen enkele fase van de studie zijn tussengekomen.

Belangenconflicten van de auteurs

De auteurs verklaren geen belangenconflicten te hebben.

 

Bespreking

Methodologische beschouwingen

De klinische beslisregels voor de diagnostische aanpak geven expliciet de elementen aan die nodig zijn voor de uitwerking van de diagnose. De methodologische standaarden zijn vastgelegd voor de samenstelling (in een derivatiestudie), de validatie (toepasbaarheid bij een andere populatie of bij meerdere andere populaties) en het bewijs van superioriteit van de diagnostische aanpak op basis van een klinische beslisregel ten opzichte van een andere aanpak (impactstudie) (7). In functie van die 3 aspecten kan een niveau van bewijskracht worden bepaald voor de beslisregels van 1 (hoogste niveau) tot 4 (laagste niveau). Niveau 1 wordt toegekend aan een gevalideerde beslisregel met een gunstige impact, waarmee dus een positieve verandering aangetoond wordt in het gedrag van de clinicus. Niveau 4 wordt toegekend als er geen validatie gebeurde (7). De hier besproken studie is geen derivatiestudie. De derivatie van de 3 besproken klinische beslisregels is al gebeurd bij grote cohorten: bij 20 137 kinderen voor PECARN (4), 3 866 voor CATCH (5) en 22 772 voor CHALICE (6). Het gaat hier om een validatiestudie bij een andere populatie dan deze van de derivatiestudies, maar zonder impactstudie. Het niveau van bewijskracht voor een klinische beslisregel is in dat geval dus 2.

Behalve de validatie vergelijken de auteurs de 3 klinische beslisregels ook bij een identieke populatie (94%) uit het globale cohort.

Het onderzoeksopzet is correct en duidelijk beschreven. Als er gegevens ontbraken voor de predictieve variabelen, beschouwden de auteurs die als negatief en uit een sensitiviteitsanalyse bleek dat de resultaten niet wijzigden bij exclusie van de ontbrekende gegevens. De steekproefgrootte is berekend aan de hand van de kleinste subgroep, namelijk de PECARN bij kinderen jonger dan 2 jaar. Op basis hiervan moest het onderzoek een groep van 50 kinderen jonger dan 2 jaar met een klinisch belangrijk hersenletsel bevatten om een voldoende diagnostische accuraatheid te bekomen. Daarvoor was de inclusie van 10 000 kinderen vereist. Uit een analyse van de eerste 1 000 opgenomen kinderen bleek dat het aantal kinderen jonger dan 2 jaar te gering was. Daarom verhoogden de auteurs het aantal te includeren kinderen van 10 000 naar 20 000.

Interpretatie van de resultaten

Het is belangrijk om de diagnostische accuraatheid (sensitiviteit en specificiteit) van een klinische beslisregel te onderzoeken, maar ook om de resultaten te interpreteren in functie van hun precieze klinische betekenis. Specifiek voor het onderwerp van deze studie is het van belang om de diagnose van een klinisch belangrijk hersenletsel niet te missen want een dergelijke vergissing kan de morbiditeit en de mortaliteit verhogen. Zowel voor patiënten als voor clinici is het dus belangrijker om een beslisregel te kiezen met de beste sensitiviteit en de beste uitsluitende kracht. Bij kinderen tot 18 jaar met een mineur hersenletsel (exclusie van kinderen met een GCS-score <14) die zich aanbieden binnen de 24 uur na het oplopen van het letsel, is de toepassing van de PRECARN-beslisregel het meest gunstig.

In een methodologische bijdrage over de interpretatie van de resultaten van diagnostische studies stelden we dat we in de klinische praktijk, behalve met de sensitiviteit en de specificiteit, ook nog moeten rekening houden met andere criteria (8). We moeten onder andere ook de meerwaarde evalueren van de test binnen het volledige diagnostische landschap. Er is een duidelijk onderscheid tussen een diagnostische test (bijvoorbeeld CT-scan) en een klinische beslisregel. Een klinische beslisregel gaat over de diagnostische aanpak en kan het diagnostisch proces sturen.

De richtlijn van NICE over de evaluatie en aanpak van hoofdletsels stelt dat hospitalisatie voor een hoofdletsel bij 25 tot 30% van de kinderen jonger dan 2 jaar het gevolg is van kindermishandeling (9). Stakeholders die de toepassing van klinische beslisregels aanmoedigen, willen hiermee bij patiënten met een hersenletsel het systematische of frequente gebruik van een CT-scan verminderen. In het volledige cohort van de hier besproken studie werd bij 10,5% van de kinderen een CT-scan uitgevoerd. Strikte toepassing van de CHALICE en de CATCH-beslisregels zou volgens de auteurs leiden tot een CT-scan bij respectievelijk 22,0% en 30,2%. Voor PECARN is de schatting moeilijker omdat men voor sommige criteria kon kiezen tussen onmiddellijke CT-scan of observatie. De auteurs vermelden ten slotte dat CT-scans in dezelfde setting van tertiaire kinderziekenhuizen veel minder worden toegepast in hun onderzoeksregio (Australië en Nieuw-Zeeland) dan in andere landen zoals de V.S. en Canada.

Andere studies en publicaties

Minerva gaf in 2016 commentaar op een systematische review over het nut van klinische beslisregels bij volwassenen met een licht hoofdletsel (2,3). Twee klinische beslisregels blijken nuttig te zijn om de volwassenen te identificeren met een zeer gering risico van ernstig hersenletsel. Deze beslisregels zijn echter niet van toepassing op kinderen. De auteurs van de NICE-richtlijn over de evaluatie en de aanpak van hoofdletsels vonden bij hun uitgebreid literatuuronderzoek in 2013 11 klinische beslisregels voor kinderen met een hoofdletsel (9). De 3 klinische beslisregels in de hier besproken studie waren daarin opgenomen. Tot einde 2013 was geen enkele klinische beslisregel gevalideerd bij de Britse populatie. Op basis van consensus maakten de auteurs van de NICE-richtlijn een lijst op met risicofactoren. Aan de hand van die lijst kan men bepalen wie een CT-scan zou moeten ondergaan binnen het uur na het klinisch onderzoek. Deze risicofactoren komen overeen met de risicofactoren die opgenomen zijn in CHALICE. De derivatie van CHALICE gebeurde in Engeland tussen 2000 en 2002, maar deze klinische beslisregel is nog niet gevalideerd in dat land.

De beslisregels zijn extern gevalideerd in verschillende studies. PECARN is bijvoorbeeld extern gevalideerd in Frankrijk (10), in Japan (11) en in Iran (12). In vergelijking met de derivatiestudies en met de hier besproken studie van de PREDICT-groep, gaat het bij de externe validatie echter om kleine studies. Deze evaluaties hebben een aantal beperkingen: de Franse studie is retrospectief uitgevoerd en de prevalentie is zeer gering (10,13). Daardoor kan de diagnostische accuraatheid van de beslisregel afwijken van de accuraatheid die vastgesteld is bij een populatie met een hogere prevalentie (14).

In 2014 publiceerden Easter et al. een prospectieve cohortstudie waarin ze PECARN, CATCH en CHALICE vergeleken in dezelfde periode als de hier besproken studie van de PREDICT-groep, maar slechts in 1 centrum in de V.S. en bij een veel geringere populatie (1 009 patiënten) (15). Ook hier stelden de auteurs een betere sensitiviteit vast van PECARN (100%; 95% BI van 84 tot 100). De sensitiviteit van het oordeel van de clinicus was even groot als de sensitiviteit van PECARN. De studie vond plaats in een referentiecentrum voor kindertraumatologie, waar de prevalentie van klinisch belangrijke hersenletsels veel hoger is dan in de oorspronkelijke derivatiestudies.

 

Besluit van Minerva

Deze diagnostische, prospectieve studie evalueert de accuraatheid van 3 klinische beslisregels (PECARN, CATCH et CHALICE) bij een cohort patiënten jonger dan 18 jaar die zich op een pediatrische spoeddienst aanbieden met een hoofdletsel. De studie toont aan dat de 3 beslisregels in hoge mate accuraat zijn voor de diagnose van een klinisch belangrijk hersenletsel. Hiervoor heeft PECARN een betere uitsluitende kracht dan de 2 andere beslisregels.

 

Voor de praktijk

De richtlijn van NICE over de evaluatie en de aanpak van hoofdletsels stelt op basis van consensus een reeks risicofactoren voor om te kunnen bepalen wanneer er snel een CT-scan van de hersenen dient te gebeuren (9). Die risicofactoren komen overeen met de risicofactoren van de CATCH-beslisregel die ontwikkeld werd in Engeland maar daar nog niet gevalideerd is. De richtlijn beveelt een CT-scan van de hersenen aan binnen het uur bij alle kinderen die bij het eerste onderzoek lager scoren dan 14 op de Glasgow Coma Scale (GCS).

De hier besproken prospectieve cohortstudie van goede methodologische kwaliteit vergelijkt 3 klinische beslisregels bij kinderen met een recent hoofdletsel. De (dubbele) PECARN-beslisregel (respectievelijk voor kinderen jonger dan 2 jaar en voor kinderen van 2 tot 18 jaar) voor kinderen met een hoofdletsel die zich aanbieden binnen de 24 uur na het letsel en die 14 tot 15 punten scoren op de GDS, is gevalideerd bij verschillende pediatrische populaties jonger dan 18 jaar. Bij de vergelijking van de 3 beslisregels blijkt dat PECARN zowel in de hier besproken studie als in een andere, een betere sensitiviteit heeft en performanter is om de diagnose van klinisch belangrijk hersenletsel uit te sluiten dan de andere klinische beslisregels.

 

* Drie klinische beslisregels: PECARN, CATCH en CHALICE

• PECARN (Pediatric Emergency Care Applied Research Network)
  • De klinische beslisregel van PECARN laat toe om bij patiënten jonger dan 18 jaar die zich aanbieden binnen de 24 uur na het oplopen van een hersenletsel en die 14 tot 15 punten scoren op de GCS, de uitvoering van een CT-scan te vermijden door het risico van een klinisch belangrijk hersenletsel uit te sluiten. Een klinisch belangrijk hersenletsel is in deze beslisregel gedefinieerd als: overlijden door hersentrauma, noodzaak van neurochirurgische interventie, intubatie van meer dan 24 uur of hospitalisatie gedurende minstens 2 nachten wegens hersenletsel. De PECARN-beslisregel heeft 2 luiken: een beslisregel voor kinderen jonger dan 2 jaar en een beslisregel voor kinderen van 2 jaar of ouder. Beide beslisregels bevatten 7 voorspellende factoren (GCS-score < 15, een ander teken van verandering van mentale status, palpabele schedelfractuur, schedelhematoom, bewustzijnsverlies in de 5 dagen ervoor, letsel veroorzaakt door ernstig ongeval, abnormaal gedrag volgens de ouders). Bij kinderen met een GCS-score van 14 of met een ander teken van verandering van mentale toestand of met een palpabele schedelfractuur wordt een CT-scan van de hersenen uitgevoerd, terwijl de uitkomst van de andere predictieve factoren de keuze laat tussen observatie of een CT-scan.
  • Referentie: Kuppermann N, Holmes JF, Dayan PS, et al; Pediatric Emergency Care Applied Research Network (PECARN). Identification of children at very low risk of clinically-important brain injuries after head trauma: a prospective cohort study. Lancet 2009;374:1160-70. DOI: 10.1016/S0140-6736(09)61558-0

• CATCH (Canadian Assessment of Tomography for Childhood Head Injury)
  • De CATCH-beslisregel laat toe om bij kinderen met een mineur hoofdletsel de uitvoering van een CT-scan van de hersenen te vermijden door de noodzaak van een neurochirurgische interventie binnen de 7 dagen na het letsel uit te sluiten. De auteurs geven 4 voorspellende factoren aan die wijzen op een verhoogd risico (van de noodzaak van een neurochirurgische interventie) en 3 voorspellende factoren die wijzen op een middelhoog risico (van hersenletsel op CT-scan).
    • De 4 voorspellende factoren die wijzen op een hoog risico van de noodzaak van een neurochirurgische interventie:
      • 1. GCS-score <15 2 uur na het letsel
      • 2. vermoeden van open schedelfractuur of impressiefractuur
      • 3. anamnese van verergerde hoofdpijn
      • 4. prikkelbaarheid bij onderzoek.
    • De 3 voorspellende factoren die wijzen op een middelhoog risico van hersenletsel op CT-scan:
      • 5. elk teken van schedelbasisfractuur (bijvoorbeeld verlies van hersenvocht uit de neus)
      • 6. groot hematoom op de hoofdhuid met zwelling
      • 7. letsel veroorzaakt door gevaarlijke omstandigheden (bijvoorbeeld: val met de fiets zonder een helm te dragen).
  • Referentie: Osmond MH, Klassen TP, Wells GA, et al ; Pediatric Emergency Research Canada (PERC) Head Injury Study Group. CATCH: a clinical decision rule for the use of computed tomography in children with minor head injury. CMAJ 2010;182:341-8. DOI:  10.1503/cmaj.091421

• CHALICE (Children’s head injury algorithm for the Prediction of Important Clinical Events)
  • CHALICE is een diagnostische beslisregel die toelaat om bij kinderen jonger dan 16 jaar na anamnese of tekenen van hoofdletsels, een klinisch belangrijk intracranieel letsel uit te sluiten. Een klinisch belangrijk intracranieel letsel is gedefinieerd als overlijden als gevolg van het letsel, noodzaak van neurochirurgische interventie, duidelijk teken van anomalie op CT-scan. De voorspellende factoren (6 factoren voor de anamnese, 5 factoren voor het klinisch onderzoek en 3 factoren voor de omstandigheden van het letsel) geven aan wanneer een CT-scan nodig is. De derivatie van deze beslisregel gebeurde in een studie waaraan 10 ziekenhuizen in het noordoosten van Engeland deelnamen.
  • Referentie: Dunning J, Daly JP, Lomas JP, et al; Children's head injury algorithm for the prediction of important clinical events study group. Derivation of the children's head injury algorithm for the prediction of important clinical events decision rule for head injury in children. Arch Dis Child 2006;91:885-91. DOI: 10.1136/adc.2005.083980

• Glasgow Coma Scale (GSC)
  • De Glasgow-comaschaal evalueert het bewustzijnsniveau en het neurologisch functioneren van een persoon en is initieel ontwikkeld voor personen met een hoofdletsel. De schaal omvat 3 domeinen: ogen openen (van 1 tot 4 punten), verbale respons (van 1 tot 5 punten met aanpassing van de criteria voor kinderen jonger dan 5 jaar) en motorische respons (van 1 tot 6 punten). Een score van 15 komt overeen met een normaal bewustzijn en een score van 3 wijst op diepe coma.

 

Referenties 

1. Cheung PS, Lam JM, Yeung JH, et al. Outcome of traumatic extradural haematoma in Hong Kong. Injury 2007;38:76-80. DOI: 10.1016/j.injury.2006.08.059 
2. Peeters A, Chevalier P. Licht hoofdtrauma: kunnen symptomen en tekenen een ernstig intracranieel letsel voorspellen? Minerva 2016;15(9):225-9.
3. Easter JS, Haukoos JS, Meehan WP, et al. Will neuroimaging reveal a severe intracranial injury in this adult with minor head trauma? The Rational Clinical Examination Systematic Review. JAMA 2015;314:2672-81. DOI: 10.1001/jama.2015.16316
4. Kuppermann N, Holmes JF, Dayan PS, et al; Pediatric Emergency Care Applied Research Network (PECARN). Identification of children at very low risk of clinically-important brain injuries after head trauma: a prospective cohort study. Lancet 2009;374:1160-70. DOI: 10.1016/S0140-6736(09)61558-0
5. Osmond MH, Klassen TP, Wells GA, et al ; Pediatric Emergency Research Canada (PERC) Head Injury Study Group. CATCH: a clinical decision rule for the use of computed tomography in children with minor head injury. CMAJ 2010;182:341-8. DOI:  10.1503/cmaj.091421
6. Dunning J, Daly JP, Lomas JP, et al; Children's head injury algorithm for the prediction of important clinical events study group. Derivation of the children's head injury algorithm for the prediction of important clinical events decision rule for head injury in children. Arch Dis Child 2006;91:885-91. DOI: 10.1136/adc.2005.083980
7. Junod AF. Comment évaluer la probabilité de la maladie ? ou de l’intérêt des scores cliniques. in Décision médicale ou la quête de l’explicite. 2ème édition. Editions Médecine & Hygiène, 2007.
8. Michiels B. Waarop letten bij de interpretatie van de resultaten uit diagnostische studies? Minerva 2015;14(6):76.
9. National Institute for Health and Care Excellence. Head injury: assessment and early management. Clinical guideline [CG176].  Published date: January 2014. Last updated: June 2017.
10. Lorton F, Poullaouec C, Legallais E, et al. Validation of the PECARN clinical decision rule for children with minor head trauma: a French multicenter prospective study. Scand J Trauma Resusc Emerg Med 2016;24:98. DOI: 10.1186/s13049-016-0287-3
11. Ide K, Uematsu S, Tetsuhara K, et al. External validation of the PECARN head trauma prediction rules in Japan. Acad Emerg Med 2017;24:308-14. DOI: 10.1111/acem.13129
12. Nakhjavan-Shahraki B, Yousefifard M, Hajighanbari MJ, et al. Pediatric Emergency Care Applied Research Network (PECARN) prediction rules in identifying high risk children with mild traumatic brain injury. Eur J Trauma Emerg Surg 2017;43:755-62. DOI: 10.1007/s00068-017-0811-9
13. Freund Y, Philippon AL. External validation of a clinical decision rule: we need events in a population in order to rule them out! Scand J Trauma Resusc Emerg Med 2017;25:3. DOI: 10.1186/s13049-016-0346-9
14. Chevalier P. Is de precisie van een diagnostische test afhankelijk van de prevalentie? Minerva 2011;10(4):51.
15. Easter JS, Bakes K, Dhaliwal J, et al. Comparison of PECARN, CATCH, and CHALICE rules for children with minor head injury: a prospective cohort study. Ann Emerg Med 2014;64:145-52. DOI: 10.1016/j.annemergmed.2014.01.030