L'habilitation peut être retirée par le directeur de l'administration pénitentiaire, ou la personne ayant reçu délégation à cet effet pour les motifs suivants :
- non-compatibilité au poste de travail constatée par le médecin agréé, sur saisine de l'administration, conformément au décret du 14 mars 1986 susvisé ;
- manquement grave ou récurrent aux obligations professionnelles ;
- retrait définitif du permis de conduire ;
- non-présentation ou désistement de l'agent aux journées du socle commun de formation continue obligatoire auquel il a été convoqué, sauf situation exceptionnelle.