L'habilitation peut être retirée par le préfet qui l'a délivrée, soit pour raison de service, soit en raison du comportement du fonctionnaire ou de l'agent dans l'exercice de ses fonctions. Dans ce dernier cas, l'intéressé doit préalablement être mis à même de présenter ses observations.
Le titre d'habilitation est restitué sans délai par son détenteur, en cas de cessation des fonctions ayant justifié l'habilitation ou en cas de retrait.