Le ministre chargé de la culture peut retirer, par arrêté, le label après avis motivé du Haut Conseil des musées de France :
1° Soit de sa propre initiative, lorsqu'il est constaté que les conditions ayant permis leur attribution ne sont plus remplies. Dans ce cas, un rapport est établi par le grand département patrimonial. Il est transmis au bénéficiaire du label qui dispose de la possibilité de faire valoir ses observations préalablement à l'avis du Haut Conseil des musées de France ;
2° Soit à la demande du musée de France attributaire du label.