L'habilitation peut être retirée par le directeur de l'administration pénitentiaire pour les motifs suivants :
- non-compatibilité au poste de travail constatée par le médecin de prévention ou le psychologue, l'agent ayant la possibilité de contester cet avis et de solliciter l'avis d'un autre psychologue agréé par l'administration ;
- manquement grave aux obligations professionnelles ;
- dans l'intérêt du service.
Dès lors qu'un retrait est envisagé, le directeur interrégional ou son représentant adresse à l'agent une lettre l'en informant, et une date d'entretien lui est communiquée.
L'intéressé peut consulter son dossier administratif et se faire assister par la personne de son choix. Il peut, s'il le souhaite, présenter des observations écrites.
L'ensemble de la procédure (rapports, avis, compte rendu d'entretien) de retrait est alors transmis au bureau chargé du suivi des extractions judiciaires au sein de la direction de l'administration pénitentiaire, afin que celui-ci puisse émettre un avis sur la demande formée par le directeur interrégional.
L'avis de ce bureau ainsi que l'ensemble des pièces du dossier sont ensuite transmis au bureau du recrutement et de la formation à la direction de l'administration pénitentiaire pour instruction et mise en état de la décision prise par le directeur de l'administration pénitentiaire.
Lorsqu'un retrait d'habilitation est prononcé, le bureau en charge de la gestion des personnels et de l'encadrement de la direction de l'administration pénitentiaire propose à l'agent une affectation sur un poste vacant, ou à défaut en surnombre, sur trois établissements au sein de la direction interrégionale des services pénitentiaires d'affectation, dont l'établissement le plus proche du PREJ où il était affecté, sur un emploi correspondant à son corps et grade d'appartenance, jusqu'à la commission administrative paritaire compétente suivante. L'agent est dans l'obligation de rejoindre l'un de ces établissements.
Il doit ensuite obligatoirement postuler à la CAP de mobilité compétente suivante. Si ses vœux ne sont pas satisfaits ou si l'agent a omis d'en formuler, l'administration lui proposera une affectation sur des postes restés vacants à l'issue de la CAP.
Si l'agent ne formule pas de vœux de changement de résidence, l'administration peut procéder à la mutation de l'intéressé dans l'intérêt du service.