Comment la qualité du codage manuel est vérifiée

Deux axes d'annotation - l'objet d'étude et la posture de chaque publication - sont codés à la main. Pour vérifier que ce codage reste cohérent plutôt que dépendant d'une seule lecture, un échantillon de 52 documents a été doublement codé et comparé.

Sur l'objet d'étude comme sur la posture, l'accord entre les deux codages atteint 96% (intervalle de confiance à 95% : 87%-99%). Le kappa de Cohen, qui mesure l'accord en retirant la part due au hasard, est de 0,95 sur l'objet d'étude et de 0,94 sur la posture - un score proche de 1 indique un accord réel, pas une coïncidence statistique. Les deux axes sont validés selon le seuil retenu (85%).

Quatre autres axes d'annotation existent dans la base (discipline, approche, terrain, techniques de recherche) mais n'ont pas encore fait l'objet de cette même vérification ; ils le seront dans un second temps.

Note : la réflexion et les choix de ce billet sont d'origine humaine ; une IA (Claude) en a assuré la relecture et la mise en forme, certains points ayant été rediscutés avec elle avant validation finale.