Hors les cas de retrait de plein droit dans les conditions régies par le premier alinéa du I de l'article L. 650-1, le préfet de région prononce le retrait du label, après avis de la commission régionale du patrimoine et de l'architecture, lorsque le bien est dégradé au point de perdre l'intérêt ayant justifié l'attribution du label.