Tester une hypothèse

Les erreurs de type I et de type II

On peut se tromper dans les deux sens

Un test d'hypothèses tranche, mais il peut se tromper. Comme la décision repose sur un échantillon soumis au hasard, deux erreurs symétriques sont possibles, et il est essentiel de les distinguer.

L'erreur de type I (faux positif) : rejeter H0 alors qu'elle était vraie. On croit avoir trouvé un effet qui n'existe pas.
L'erreur de type II (faux négatif) : ne pas rejeter H0 alors qu'elle était fausse. On passe à côté d'un effet réel.

Le tableau des quatre cas

                         REALITE
                 H0 vraie        H0 fausse
             +---------------+----------------+
  on NE      |   correct     |  erreur type II|
  rejette    |   (vrai neg.) |  (faux negatif)|
  PAS H0     |               |                |
             +---------------+----------------+
  on         | erreur type I |    correct     |
  rejette    | (faux positif)|  (vrai positif)|
  H0         |               |                |
             +---------------+----------------+

(les deux cases en diagonale sont les bonnes decisions ; les deux autres sont les erreurs)

Un compromis inévitable

Le seuil alpha contrôle directement le risque d'erreur de type I : le fixer à 5 % garantit qu'on rejette H0 à tort dans au plus 5 % des cas où elle est vraie. Mais abaisser alpha (être plus exigeant pour rejeter) augmente mécaniquement le risque de type II : on rate davantage d'effets réels. On ne peut pas réduire les deux erreurs à la fois sans augmenter la taille de l'échantillon.

Choisir selon les enjeux

Le bon seuil dépend du coût de chaque erreur. Pour un test de dépistage grave, un faux négatif (rater un malade) est bien pire qu'un faux positif (alerte inutile levée par un examen complémentaire) : on accepte alors plus d'erreurs de type I pour limiter les type II. En justice au contraire, on préfère limiter les faux positifs (condamner un innocent), quitte à laisser passer des coupables.

Piège classique