De instructeur als meetinstrument
Op EATS 2025 presenteerde Frank Steiner de resultaten van een analyse van 2.662 beoordelingen door piloteninstructeurs. In de gevallen waarin de referentiebeoordeling van de operator aangaf dat verdere training nodig was, werd die behoefte volgens de gerapporteerde cijfers slechts in 67,7 procent van de gevallen herkend. Zelfs wanneer de trainingsbehoefte aan de verkeerde competentie werd gekoppeld, telde dat mee in dat percentage. Deze bevindingen gaan over oordelen in beoordelingsoefeningen met opgenomen prestaties. Ze mogen niet worden gelezen als een telling van piloten die onterecht opnieuw werden vrijgegeven om te vliegen. Het EATS-verslag van Halldale
Een resultaat dat trainingsafdelingen best ongemakkelijk mag maken, zonder de instructeurs tot boosdoeners te verklaren.
Wie beoordelingen heeft aangestuurd, herkent de patronen: de instructeur die een onvoldoende ziet waar anderen een aanvaardbare prestatie zien, degene die iedereen het voordeel van de twijfel geeft en degene wiens scores zelden het midden van de schaal verlaten.
Een beoordelingsschaal lost dat niet op. Zonder gedeelde interpretatie geeft ze verschillende mensen vooral verschillende manieren om het oneens te zijn.
Wat dit betekent voor cabinepersoneel
Voor operators die evidence-based training voor piloten uitvoeren onder EASA’s ORO.FC.231, zijn instructeursstandaardisatie en het bewaken van overeenstemming in beoordelingen al wettelijk vereist. Die overeenstemming wordt concordantie genoemd. De bijbehorende Acceptable Means of Compliance (AMC) beschrijven hoe die concordantie eenmaal per cyclus wordt nagegaan, voor voldoende combinaties van competenties en scores om de oefening betekenisvol te maken. De eis is bindend; de AMC beschrijft een aanvaarde manier om eraan te voldoen. EASA: ORO.FC.231 en bijbehorende AMC
Voor training van cabinepersoneel geldt een andere regelgevende structuur. ORO.CC.115 vereist passend gekwalificeerd trainings- en beoordelingspersoneel, maar sluit crew resource management-training (CRM) uitdrukkelijk uit van de formele toetsing van de overige trainingselementen. We moeten dus onderscheid maken tussen het toetsen van vakbekwaamheid en het observeren van CRM-gedrag ter ondersteuning van leren en feedback. EASA: ORO.CC.115
Dat onderscheid doet ertoe. De consistentie van CRM-observaties verbeteren mag geen voorwendsel worden om een onofficiële CRM-slaag- of faaltest in te voeren. Maar er blijft een praktische vraag: hoe stellen we vast dat feedback over communicatie, samenwerking of besluitvorming berust op een gedeeld begrip van effectief gedrag?
Een eerste instructeurskwalificatie legt de basis. Blijvende consistentie vraagt blijvende aandacht.
Maak kalibratie zinvol
Een concordantieprogramma is eenvoudiger dan de naam doet vermoeden. Beoordelaars bekijken dezelfde prestaties, leggen hun oordeel onafhankelijk vast, vergelijken de waargenomen feiten en werken de verschillen uit. Daarna herhalen ze dat proces, want mensen, programma’s en verwachtingen veranderen.
Enkele ontwerpkeuzes bepalen of dat bruikbare inzichten oplevert, of slechts een al dan niet comfortabele vergadering met wat schijnvertoon.
Leg het oordeel vast vóór de bespreking. Elke beoordelaar noteert de score en het gedrag waarop die steunt voordat iemand het woord neemt. Als de luidste of meest ervaren instructeur eerst het antwoord geeft, zegt de sessie mogelijk meer over groepsdynamiek en hiërarchie dan over de beoordeling zelf.
Neem moeilijke beslissingen mee. Gebruik prestaties aan beide kanten van de relevante norm, ook grensgevallen. Duidelijke successen en duidelijke tekortkomingen zijn nuttig, maar leggen mogelijk niet de cruciale verschillen tussen instructeurs bloot.
Onderbouw de referentiebeoordeling. Een klein, gekwalificeerd panel kan een referentieoordeel vastleggen op basis van observeerbaar gedrag en de afgesproken norm. Die redenering moet wel ter discussie kunnen staan. Anciënniteit is op zichzelf geen validatiemethode.
Maak onderscheid tussen overeenstemming en juistheid. Instructeurs kunnen het met elkaar eens zijn en de norm toch verkeerd toepassen. Een zinvolle bespreking onderzoekt waarom een oordeel gerechtvaardigd is, in plaats van alleen te eindigen met iedereen die dezelfde score kiest.
Dat laatste wordt gemakkelijk over het hoofd gezien. Eensgezindheid kan geruststellen. Maar iedereen kan het ook eensgezind fout hebben.
Een praktisch vertrekpunt
Voor een bescheiden instructeursteam zou een voorbeeldmodel er zo kunnen uitzien:
- Elk kwartaal één sessie van negentig minuten, met twee of drie korte opgenomen praktijksituaties of zorgvuldig gekozen fragmenten. De onafhankelijke beoordeling gebeurt vooraf.
- Jaarlijks één geobserveerde beoordeling of begeleide sessie per instructeur, om te zien hoe oordeelsvorming en feedback buiten een kalibratieoefening verlopen.
- Een aangeduide coördinator, verantwoordelijk voor de praktijksituaties, de onderbouwing van referentieoordelen en de opvolging.
- Gerichte ondersteuning waar nodig, met een mentor, een duidelijk ontwikkeldoel en een afgesproken moment om de voortgang te bekijken.
Dit zijn startvoorstellen om aan te passen en uit te proberen, geen wettelijke frequenties of universeel gevalideerde formule.
Wat meten we, en wat vraagt het?
Ook de metingen kunnen eenvoudig beginnen: overeenstemming met de referentie bij de relevante beslissingsgrens, afstand tot de referentiescore en belangrijke observaties die werden gemist.
Een team kan bijvoorbeeld uitproberen of een nadere bespreking nodig is bij minder dan 80 procent overeenstemming met de referentie over een afgebakende grensbeslissing, of wanneer minder dan 90 procent van de scores maximaal één score van de referentie afwijkt. Dat zijn lokale keuzes voor analyse, geen gevestigde benchmarks, slaaggrenzen voor instructeurs of aanvaardbare foutenmarges.
Eén score verschil kan nog altijd betekenen dat twee beoordelaars aan verschillende kanten van een belangrijke beslissing uitkomen. Elke gemiste kritieke bevinding verdient aandacht, ongeacht het totaalpercentage. Toon bij een klein team ook de werkelijke aantallen en de patronen over verschillende gevallen heen, naast de percentages.
Terugkerende individuele moeilijkheden vragen ondersteuning en nauwere observatie. Breed gedragen onenigheid vraagt een ruimer onderzoek: de duidelijkheid van de norm, de geschiktheid van de praktijksituatie, het referentieoordeel en het begrip van de instructeurs verdienen allemaal aandacht. Als een hele groep het oneens is, bewijst dat niet automatisch dat de groep of de referentie fout zit.
We moeten eerlijk zijn over de inzet die dit vraagt. Vier bijeenkomsten van negentig minuten betekenen jaarlijks zes contacturen per instructeur. Onafhankelijk beoordelen, situaties voorbereiden, analyseren, begeleiden en de geobserveerde sessie komen daar nog bij. Iemand moet tijd krijgen om het programma zinvol te maken.
U kunt beginnen zonder een afdeling datawetenschap. U kunt niet beginnen zonder tijd en verantwoordelijkheid toe te wijzen.
Geef het een plaats in het trainingssysteem
Een competentiekader beschrijft hoe effectief handelen eruitziet. Kalibratie helpt instructeurs om dat kader consequent te interpreteren en toe te passen. De twee horen bij elkaar.
Een score is een gestructureerd oordeel. Er een cijfer van maken, maakt dat oordeel niet automatisch objectief. De waarde ervan hangt af van het waargenomen gedrag, de context, de toegepaste norm en de redenering die ze met elkaar verbindt.
Een verzorgd competentiekader kan nog steeds onbetrouwbare registraties opleveren. Een goed ondersteund instructeursteam kan een helder en praktisch kader bruikbaar maken voor leren, eerlijkere beslissingen en geloofwaardigere trainingsgegevens.
Daarom verdient kalibratie een plaats in het trainingssysteem zelf. Ook nadat het competentiekader is goedgekeurd en de lanceringspresentatie is opgeborgen.
Uw instructeurs ondertekenen documenten die mee bepalen of mensen klaar zijn om hun werk uit te voeren.
Wanneer hebben ze voor het laatst dezelfde prestatie onafhankelijk beoordeeld en ontdekt hoe ver hun oordelen uit elkaar lagen?