L'agrément est modifié ou retiré lorsque le contrôleur ne remplit plus les conditions de qualification technique constatées lors de son octroi.
En cas de faute professionnelle grave ou de manquement à la moralité professionnelle, notamment aux règles d'incompatibilité mentionnées à l'article L. 125-3 et aux obligations prévues à l'article R. 125-4, l'agrément peut être retiré temporairement pour une durée maximale de six mois ou définitivement.
La décision de modification ou de retrait d'agrément est prise par le ministre chargé de la construction sur l'avis motivé de la commission d'agrément. Le ministre doit, avant de saisir la commission, mettre le contrôleur technique à même de présenter ses observations. La commission entend l'intéressé avant de donner son avis.