CONTENU DU CAHIER DES CHARGES POUR LA RÉALISATION DES ÉVALUATIONS EXTERNES
Préambule
La présente annexe énonce les principes et le cadre de l'évaluation externe prévue au deuxième alinéa de l'article L. 312-8, en fixe les modalités de réalisation et les obligations qui en découlent pour l'organisme habilité et pour la personne physique ou la personne morale de droit public ou de droit privé gestionnaire de l'établissement ou du service social ou médico-social. Elle identifie un certain nombre de thématiques sur lesquelles l'évaluation devra porter. Les dispositions du présent cahier des charges applicables aux organismes habilités sont également applicables aux prestataires qui relèvent de l'article D. 312-197 et qui sont dûment inscrites sur la liste mentionnée à l'article D. 312-201.
CHAPITRE Ier
Principes généraux
SECTION 1
Fondements de l'évaluation
1.1. L'évaluation doit viser à la production de connaissance et d'analyse. Cette évaluation doit permettre de porter une appréciation qui l'inscrit dans une logique d'intervention et d'aide à la décision. Elle a pour but de mieux connaître et comprendre les processus, d'apprécier les impacts produits au regard des objectifs tels que précisés ci-après, en référence aux finalités prioritairement définies pour l'action publique.
1.2. L'évaluation est distincte du contrôle des normes en vigueur. Elle se distingue également de la certification. L'évaluation telle que prévue à la présente annexe tient compte des résultats des démarches d'amélioration continue de la qualité que peuvent réaliser les établissements et services.
1.3. L'évaluation interroge la mise en oeuvre d'une action, sa pertinence, les effets prévus et imprévus, son efficience, en considération du contexte observé.
Elle implique un diagnostic partagé, la construction d'un cadre de référence spécifique d'évaluation, le choix d'outils de mesure et d'appréciation adaptés. Elle repose sur la mobilisation des partenaires concernés aux différentes étapes de la démarche évaluative.
1.4. L'évaluation contribue à la coopération entre les usagers, les professionnels, les gestionnaires des établissements et services sociaux et médico-sociaux et les autorités publiques.
SECTION 2
Conditions particulières liées aux dispositions inscrites, notamment aux articles L. 311-1 et L. 313-3
2.1. L'évaluation mentionnée au premier alinéa de l'article L. 312-8 constitue une évaluation interne, conduite par les établissements et services sociaux et médico-sociaux figurant à l'article L. 312-1. L'évaluation mentionnée au deuxième alinéa de l'article L. 312-8, réalisée par un organisme extérieur habilité, constitue une évaluation externe. Ces évaluations portent sur les activités et la qualité des prestations délivrées.
2.2.-Les champs des évaluations interne et externe doivent être les mêmes, afin d'assurer la complémentarité des analyses portées sur un même établissement ou service. Les évaluations successives, internes et externes, doivent permettre d'apprécier les évolutions et les effets des mesures prises pour l'amélioration continue du service rendu.
2.3.-L'évaluation externe ne permet pas de comparer les établissements et services entre eux. Seule la comparabilité dans le temps entre les résultats des évaluations peut être recherchée, pour un établissement ou un service donné.
2.4.-L'évaluation s'appuie sur l'observation des pratiques sur le terrain, auprès de groupes d'acteurs interdépendants ; elle analyse des systèmes complexes intégrant l'interférence de nombreux facteurs, notamment les interactions entre bénéficiaires et institutions et des facteurs externes.
2.5.-Les domaines explorés sont déterminés par les orientations des politiques sociales et médico-sociales.
2.6.-Compte tenu des fondements de l'action sociale et médico-sociale énoncés aux articles L. 311-1 et L. 313-3, l'évaluation externe doit comporter deux volets complémentaires :
1° Un volet relatif à l'effectivité des droits des usagers. L'évaluation porte au moins sur les conditions de participation et implication des personnes bénéficiaires des prises en charge ou accompagnements, les mesures nécessaires au respect du choix de vie, des relations affectives, de l'intimité, de la confidentialité et, s'il y a lieu, sur les dispositions prévues pour assurer la sécurité des personnes.
2° Un volet plus particulièrement adapté à l'établissement ou au service considéré. A cette fin, l'analyse porte, au premier chef, sur les logiques d'action et les axes de travail. Cette analyse retient notamment : l'accompagnement au développement personnel, à l'autonomie, selon la personnalité, les limitations d'activités ou la situation de fragilité de chaque individu, la sensibilisation au risque d'isolement affectif et social, la prise en compte des interactions avec les proches et l'environnement, l'inscription des actions dans la continuité des choix de l'individu, le travail mené sur l'accès aux droits.
CHAPITRE II
Objectifs de l'évaluation externe
SECTION 1
Porter une appréciation globale
L'évaluation des activités et de la qualité des prestations sera organisée de façon à fournir des éléments synthétiques sur les points suivants :
1° L'adéquation des objectifs du projet d'établissement ou de service par rapport aux besoins, aux priorités des acteurs concernés et aux missions imparties.
2° La cohérence des différents objectifs entre eux.
3° L'adaptation aux objectifs des moyens humains et financiers mis en place.
4° L'existence et la pertinence de dispositifs de gestion et de suivi.
5° L'appréciation sur l'atteinte des objectifs, la production des effets attendus et d'effets non prévus, positifs ou négatifs.
6° L'appréciation de l'impact des pratiques des intervenants sur les effets observés.
7° Les conditions d'efficience des actions et de réactualisation régulière de l'organisation.
SECTION 2
Examiner les suites réservées aux résultats issus de l'évaluation interne
1° Apprécier les priorités et les modalités de mise en oeuvre de la démarche de l'évaluation interne.
2° Apprécier la communication et la diffusion des propositions d'amélioration résultant de l'évaluation interne et la manière dont les acteurs ont été impliqués.
3° Analyser la mise en oeuvre des mesures d'amélioration et l'échéancier retenu.
4° Identifier les modalités de suivi et de bilan périodique.
5° Apprécier la dynamique générale de la démarche d'amélioration continue de la qualité des prestations.
SECTION 3
Examiner certaines thématiques et des registres spécifiques
3.1.-Les objectifs propres à l'évaluation des établissements et services sociaux et médico-sociaux sont de deux ordres :
1° Porter une appréciation sur les activités et la qualité des prestations au regard des droits des usagers, et les conditions de réalisation du projet personnalisé.
2° Donner des éléments d'appréciation sur les activités et la qualité des prestations au regard de l'ouverture de l'établissement ou du service sur son environnement, et des interactions.
3.2.-Les points suivants sont examinés en prenant en compte les particularités liées à l'établissement ou au service :
1° La capacité de l'établissement ou du service à évaluer avec les usagers leurs besoins et attentes dans le cadre du projet d'établissements ou de service, en prenant en compte les interactions avec l'environnement familial et social de la personne.
2° L'enjeu de la personnalisation de l'écoute et de la réponse téléphoniques, y compris dans le traitement des demandes en urgence.
3° Les conditions dans lesquelles est élaboré le projet personnalisé et la capacité de celui-ci à prendre en compte les besoins et droits de l'usager.
4° L'effectivité du projet de l'établissement ou service sur l'accès et le recours aux droits.
5° La réponse de l'établissement ou du service aux attentes exprimées par les usagers.
6° La capacité de l'établissement ou du service à faciliter et valoriser l'expression et la participation des usagers.
7° La capacité de l'établissement ou service à observer les changements et adapter son organisation.
8° La prise en compte des recommandations de bonnes pratiques professionnelles dans les modalités de réponses apportées aux usagers.
9° La prise en compte des facteurs de risque et d'insécurité selon différents axes appropriés à chaque contexte : application de normes d'hygiène et de sécurité-prévention des situations de crise-mise en place d'un dispositif de régulation des conflits-techniques de prise en charge offrant la sécurité individuelle et collective en rapport avec les pratiques professionnelles garantissant les droits fondamentaux des personnes-plus généralement politique globale de gestion des risques.
10° La capacité de l'établissement ou du service pour assurer la cohérence et la continuité des actions et interventions.
11° Le respect des critères énoncés par la réglementation en vigueur et par les recommandations de bonnes pratiques professionnelles validées par l'Agence nationale de l'évaluation et de la qualité des établissements et services sociaux et médico-sociaux, relatifs notamment à la qualité d'hébergement.
12° Les formes de mobilisation des professionnels, en observant l'organisation collective : organisation des échanges d'information, méthodes de travail, dispositifs de gestion de crise, modalités de formation des personnels.
13° La capacité de l'établissement ou du service à mettre en oeuvre des dispositifs d'alerte et de formation permettant de mesurer la fatigue professionnelle.
14° Le rôle de l'établissement ou du service au regard des missions confiées par les autorités publiques à partir notamment de la confrontation des différents points de vue, mais aussi des réalisations :
a) Perception de l'établissement ou du service et de ses missions par les partenaires, les usagers ;
b) Formalisation des collaborations et des coopérations interinstitutionnelles ou interprofessionnelles autour et avec l'usager.
15° L'inscription de l'établissement ou du service dans un territoire donné à partir notamment de :
-la prise en compte du réseau de proximité et de l'utilisation optimale des ressources du milieu ;
-sa contribution aux évolutions et à la modification de l'environnement.
3.3.-L'analyse précise quelles thématiques sont intégrées dans le plan d'amélioration continue de la qualité. L'ensemble des éléments recueillis sont organisés dans une synthèse restituant les problématiques abordées.
SECTION 4
Elaborer des propositions et/ ou préconisations
4.1.-Cet objectif porte en premier lieu sur des aspects stratégiques, et en second lieu sur des éléments plus directement opérationnels.
4.2.-Des priorités sont formulées, en regard de critères explicités.
CHAPITRE III
Engagement de la procédure d'évaluation externe
SECTION 1
Principes généraux
1.1.-La procédure d'évaluation est engagée à l'initiative de la personne physique ou de la personne morale de droit public ou de droit privé gestionnaire de l'établissement ou du service social ou médico-social.
1.2. La sélection de l'organisme habilité est réalisée dans le cadre habituel des procédures de mise en concurrence, et pour les établissements publics dans le respect des règles du code des marchés publics.
1.3. Ni l'organisme habilité ni l'un des professionnels intervenant pour le compte d'un organisme habilité ne peut, à l'exception des opérations de facturation qui sont la contrepartie de la prestation d'évaluation, détenir au moment de l'évaluation, ou avoir détenu, au cours de l'année précédente, d'intérêt financier direct ou indirect dans l'organisme gestionnaire de l'établissement ou du service concerné.
1.4. Ni l'organisme habilité ni l'un des professionnels intervenant pour le compte d'un organisme habilité ne peut procéder à l'évaluation externe d'un établissement ou d'un service qu'il a directement ou indirectement conseillé ou assisté, au cours des trois dernières années, pour la mise en œuvre de ses obligations au titre de l'évaluation interne.
1.5. Si la personne physique ou la personne morale de droit public ou de droit privé gestionnaire de l'établissement ou du service social ou médico-social assume la responsabilité de la signature du contrat avec l'organisme habilité, le responsable de l'établissement ou du service à évaluer peut être associé à la phase d'établissement du contrat, aux fins d'adapter précisément le contenu du contrat.
SECTION 2
Etablissement du contrat entre la personne physique ou la personne morale
gestionnaire de l'établissement ou du service et l'organisme habilité
2.1. Le document de mise en concurrence définit le cadre général de l'évaluation ; il est le fondement de la relation contractuelle entre le commanditaire et l'évaluateur. Il contient notamment les éléments suivants :
1° La présentation de l'établissement ou du service ;
2° L'articulation avec le projet de l'établissement ou service, l'évaluation interne et les démarches formalisées visant à améliorer le service rendu ;
3° Les premiers éléments permettant de formuler des hypothèses et les premières questions susceptibles d'être posées ;
4° Les modalités de concertation à prévoir lors des phases initiales de l'évaluation ;
5° Les modalités de suivi de l'évaluation externe ;
6° Le contexte et les éventuelles contraintes liées à l'organisation ou aux particularités des activités ;
7° Les conditions d'accès à l'information et aux documents disponibles ;
8° Les modalités concrètes d'élaboration et de rendu du rapport ;
9° Le temps nécessaire et le calendrier ;
10° Les modalités de facturation ;
2.2. L'évaluateur fait une déclaration sur l'honneur annexée au contrat par laquelle il atteste remplir les conditions telles qu'énoncées dans le présent cahier des charges et celles figurant dans le dossier d'habilitation de l'organisme.
2.3. Les intervenants rémunérés de ces organismes, ci-après dénommés " évaluateurs " sont tenus à une obligation de réserve et de secret à l'égard de toute information dont ils ont connaissance dans le cadre de leur activité. Les modalités de recueil des déclarations d'intérêt et les modalités de contrôle interne que s'impose l'organisme habilité doivent être accessibles au responsable de l'établissement ou du service et au commanditaire.
2.4. S'agissant des qualifications et compétences des évaluateurs, au nombre des critères demandés figurent les éléments suivants :
1° Une expérience professionnelle dans le champ social ou médico-social ;
2° Une formation aux méthodes évaluatives s'appuyant sur celles existant en matière d'évaluation des politiques publiques et comportant une méthodologie d'analyse pluridimensionnelle, globale, utilisant différents supports ;
3° Des connaissances actualisées et spécifiques dans le domaine de l'action sociale, portant sur les recommandations de bonnes pratiques professionnelles validées, sur les orientations générales des politiques de l'action sociale et sur les dispositifs ;
4° En fonction de l'offre disponible, le commanditaire privilégie le caractère transversal et la capacité d'adaptation à la diversité des problématiques des évaluateurs ;
5° Des modalités de travail qui garantissent un examen contradictoire des points de vue exprimés.
2.5. La crédibilité de la proposition de l'évaluateur s'apprécie notamment sur les points suivants :
1° Les références individuelles ainsi que l'engagement de l'évaluateur à soumettre à l'agrément préalable du commanditaire toute modification ultérieure de l'équipe d'évaluateurs ;
2° La compréhension par l'évaluateur du projet de l'établissement ou service, du contexte et sa capacité à définir des questions ;
3° La proposition de plan d'intervention : étapes, méthode d'évaluation envisagée, modalités de recueil des informations ;
4° La capacité de l'évaluateur à se situer dans une logique d'écoute des professionnels et des usagers pour faire émerger des propositions d'évolution ;
5° La clarté et la précision du devis, notamment le nombre de jours pour chaque étape de la procédure et le prix par journée, le rapport qualité/ prix.
SECTION 3
Eléments de cadrage pour la réalisation de l'évaluation externe
Le commanditaire et l'évaluateur sont tenus de respecter les étapes suivantes :
3.1. Le commanditaire s'engage à fournir à l'évaluateur au moins les documents généraux prévus par la réglementation et les pièces techniques ci-après énoncées :
1° Tout document public permettant d'identifier la personne physique ou la personne morale de droit public ou de droit privé gestionnaire de l'établissement ou du service social ou médico-social ;
2° Une copie de l'autorisation ou de la déclaration avec un descriptif des activités, des publics accueillis, un organigramme et un document relatif aux personnels : effectifs en poste, répartition par catégorie ;
3° Le projet d'établissement et autres documents de référence utilisés : charte, supports de démarche qualité ;
4° Le livret d'accueil de l'établissement remis à chaque personne accueillie ;
5° Le règlement de fonctionnement ;
6° Les comptes rendus du conseil de la vie sociale ou de toute autre forme de participation conformément à l'article L. 311-6 ;
7° Les documents relatifs à l'hygiène et à la sécurité ;
8° Les résultats de l'évaluation interne et tout document utile à la compréhension de sa réalisation ;
9° Une note retraçant les choix opérés pour donner suite aux préconisations de l'évaluation interne.
3.2. L'information sur la finalité et le déroulement de l'évaluation est assurée préalablement à l'engagement de celle-ci auprès des personnels et usagers.
3.3. Le responsable de l'établissement ou du service veille au bon déroulement de l'évaluation et au respect des termes du contrat. Un comité de suivi de l'évaluation peut être mis en place par le responsable ; sa création ou non est précisée dans le contrat passé avec l'organisme habilité, en mentionnant, dans la première hypothèse, sa composition. Lorsqu'il existe, il recueille en tant que de besoin les avis des professionnels et des usagers et en fait part à l'évaluateur au cours des différentes étapes de l'évaluation.
CHAPITRE IV
Etapes de la procédure d'évaluation externe
SECTION 1
Observation et description
1.1. La première étape doit aboutir à la formalisation du projet évaluatif, qui comprend :
1° La construction du cadre de référence spécifique de l'évaluation résultant des deux volets suivants :
a) Un volet commun comportant le rappel des orientations définies par les autorités compétentes sur le champ observé et les recommandations de bonnes pratiques professionnelles validées par l'Agence nationale de l'évaluation et de la qualité des établissements et services sociaux et médico-sociaux ;
b) Un volet propre à chaque établissement ou service, décrivant la stratégie, les objectifs de l'établissement ou du service et les missions confiées sur un territoire géographique donné, dans le cadre des procédures d'autorisation.
Ce cadre de référence spécifique de l'évaluation ainsi défini doit être validé par le commanditaire de l'évaluation ;
2° L'élaboration du questionnement évaluatif.
Cette phase aboutit à la formulation de questions évaluatives hiérarchisées et adaptées à la logique de chaque établissement ou service. L'évaluateur doit aider l'établissement ou service à la formalisation de chacun des points précédemment évoqués. Ce questionnement intègre les objectifs de l'évaluation énoncés au chapitre II. Il est validé par le commanditaire de l'évaluation ;
1.2. La méthode et les outils de l'observation.
1° L'observation s'appuie sur une analyse des pratiques collectives, définies comme l'ensemble des manières de faire, de dire et d'agir des professionnels. Elle ne doit pas être une évaluation de la pratique individuelle. L'observation porte sur les prestations et les activités, qui sont un ensemble d'actions et interventions organisées autour d'un ou plusieurs objectifs ;
2° L'évaluateur doit pouvoir disposer des informations quantitatives et qualitatives disponibles ;
3° Il programme des visites et entretiens individuels ou collectifs ; il peut animer des réunions. Ces auditions concernant l'ensemble des professionnels y compris ceux de nuit, les stagiaires, les usagers et leurs proches ;
4° Les informations collectées sont validées par les personnes concernées.
SECTION 2
Etude et analyse
Cette étape permet une mise en forme des informations utiles pour :
1° Répondre précisément aux questionnements relatifs aux thématiques et registres spécifiques identifiés dans le cadre de l'évaluation, et en regard des objectifs d'évaluation énoncés au chapitre II.
2° Confronter la situation observée au cadre de référence spécifique de l'évaluation défini au 1.1 (1°) ; il s'agit notamment de déterminer la réalisation des objectifs initiaux, en tenant compte des mesures d'amélioration prises à l'issue des évaluations déjà conduites ;
3° Examiner la prise en compte des procédures, références et recommandations de bonnes pratiques professionnelles validées ou élaborées par l'Agence nationale de l'évaluation et de la qualité des établissements et services sociaux et médico-sociaux.
SECTION 3
Synthèse
3.1. Cette étape doit mettre en relation les intentions du projet d'établissement ou du service et les constats issus de l'évaluation externe en se centrant sur la qualité des prestations et les pratiques dans le but d'apprécier le service rendu aux usagers, les points forts et les adaptations à conduire, dans une vision globale et stratégique de l'établissement ou du service tenant compte de son environnement.
3.2. Lorsque la synthèse établie par l'évaluateur met en évidence des différences, des écarts, des contradictions en regard du cadre de référence spécifique, il fournit une analyse et une interprétation sur la base des informations quantitatives et qualitatives qu'il a obtenues.
3.3. L'évaluateur analyse la pertinence des activités et de l'organisation par rapport aux besoins identifiés et aux objectifs assignés, en tenant compte des moyens disponibles de l'établissement ou du service et des choix opérés dans leur affectation.
3.4. Il formule des propositions et/ ou préconisations au regard des différents champs couverts par l'évaluation externe.
CHAPITRE V
Résultats de l'évaluation externe
SECTION 1
Principes généraux
1.1. Les résultats de l'évaluation externe sont remis par l'évaluateur à la personne physique ou à la personne morale de droit public ou de droit privé gestionnaire de l'établissement ou du service social ou médico-social sous la forme d'un rapport d'évaluation.
1.2. Le document produit doit avoir une visée informative et refléter l'ensemble des différentes étapes de l'évaluation.
1.3. Le rapport ne peut se limiter à un résumé de l'évaluation conduite. Il doit apporter à l'autorité ayant délivré l'autorisation une argumentation sur les données recueillies et l'analyse qui en résulte, permettant de l'éclairer utilement.
1.4. L'évaluation doit répondre à des exigences de qualité en termes de pertinence, de fiabilité, d'objectivité et de transparence.
SECTION 2
Processus d'élaboration du rapport d'évaluation externe
2.1. Un pré-rapport d'évaluation externe est communiqué à l'organisme gestionnaire et au responsable de l'établissement ou du service ; ils s'assurent de la représentation des opinions de chacune des personnes interrogées et, le cas échéant, formulent leurs observations.
2.2. Le prérapport est consultable par toutes les personnes de l'établissement ou du service ayant contribué à l'évaluation externe.
2.3. La version définitive rédigée par l'évaluateur est remise à la personne physique ou à la personne morale de droit public ou de droit privé gestionnaire de l'établissement ou du service social ou médico-social.
SECTION 3
Contenu général
Le rapport comporte les éléments suivants :
3.1. Des éléments de cadrage.
Cette partie introductive présente de façon synthétique l'établissement ou service et le contexte.
3.2. Un descriptif de la procédure d'évaluation externe.
La démarche, les sources d'information, les choix opérés et les difficultés rencontrées sont rappelés. En annexe doivent figurer le contrat, la composition de l'équipe des intervenants et le calendrier de réalisation.
3.3. Des développements informatifs.
Le diagnostic de situation réalisé doit éclairer sur le projet, les buts poursuivis et l'organisation mise en place ; il apporte une synthèse des connaissances existantes et dégage des connaissances nouvelles.
3.4. Les résultats de l'analyse détaillée.
La présentation doit distinguer les analyses consécutives aux informations collectées et celles utilisant les méthodes d'interprétation des données.
3.5. La synthèse.
Elle est établie par l'évaluateur au regard des objectifs énoncés au chapitre 2, selon un modèle fixé par l'Agence nationale de l'évaluation et de la qualité des établissements et services sociaux et médico-sociaux et téléchargeable gratuitement sur son site internet. La synthèse concourt à une meilleure connaissance du service rendu au travers des activités et prestations. Dans tous les cas, devront figurer dans le rapport les points suivants :
1° Les conditions d'élaboration et de mise en oeuvre du projet de l'établissement ou du service, d'organisation de la qualité de la prise en charge ou de l'accompagnement des usagers et les modalités de leur évaluation avec le concours des usagers ;
2° L'expression et la participation des usagers : fonctionnement du conseil de la vie sociale ou autre forme de participation, appréciation sur la prise en compte des avis des usagers et l'effectivité ;
3° la politique de prévention et de gestion des risques de maltraitance institutionnelle ou individuelle ;
4° L'ouverture de l'établissement ou du service sur son environnement institutionnel, géographique, socioculturel et économique.
3.6. Dans la perspective de l'amélioration continue de la qualité des activités et prestations délivrées par l'établissement ou le service, l'évaluateur formule, outre les propositions et/ ou préconisations ci-dessus mentionnées, toute observation utile à l'aide à la décision du commanditaire concernant l'adaptation des modalités d'accueil et d'accompagnement, au regard de l'évolution des besoins des usagers et en tenant compte des ressources.
3.7. Un abrégé du rapport est établi par l'organisme habilité selon un modèle fixé par l'Agence nationale de l'évaluation et de la qualité des établissements et services sociaux et médico-sociaux et téléchargeable gratuitement sur son site internet. Cet abrégé est annexé au rapport.