13. Modalités d'évaluation de l'expérimentation envisagées
Contexte, objectifs et enjeux de l'évaluation
Une évaluation systématique des projets d'expérimentations entrant dans le dispositif de l'article 51 est prévue par la loi. S'agissant de l'évaluation de l'expérimentation d'une incitation à une prise en charge partagée (IPEP), celle-ci a été confiée au GIP-IRDES ( www.irdes.fr).
L'expérimentation IPEP a pour ambition première de décloisonner la prise en charge des patients et d'optimiser les parcours de santé, d'améliorer la qualité et la pertinence de la prise en charge, mais d'améliorer aussi, l'accès aux soins. L'expérimentation s'appuie pour ce faire, sur la construction de groupements, plus ou moins ad hoc, intégrant des acteurs de ville avec ou non des acteurs hospitaliers et assurant leur coordination. Ces groupements deviennent, au regard de l'expérimentation, responsables de la qualité des soins, des parcours de soins et des dépenses pour une population définie.
L'expérimentation prévoit à la fois un accompagnement relativement individualisé des groupements du point de vue juridique et institutionnel, ainsi qu'un ensemble d'incitations financières comprenant des crédits d'amorçage et des contrats d'intéressement sur d'éventuels gains d'efficience en statique et dynamique modulés à la qualité (méthode ROSP).
Les enjeux de l'évaluation sont relatifs à l'analyse des impacts et aux enseignements qui pourront être tirés en matière de reproductibilité, d'extension voire de généralisation (ou de changement d'échelle).
Design d'évaluation
L'évaluation, en cours de conception, sera mise en œuvre par des chercheurs du GIP-IRDES, du CESP-Inserm et de l'Université de Lille 1 dans le cadre d'un programme de recherche dénommé ERA (évaluation d'expérimentations article 51 de rémunération alternative à l'acte). L'évaluation se déclinera au travers d'une démarche évaluative compréhensive visant à porter un jugement externe sur IPEP au regard des expérimentations labellisées en matière :
-d'efficacité au regard des résultats observés et des objectifs inscrits dans le cahier des charges ;
-d'efficience au regard des réalisations et des ressources mobilisées ;
-de cohérence entre les objectifs spécifiques de chaque regroupement, opérationnels et les ressources mobilisées ;
-de pertinence entre les objectifs globaux et les problèmes identifiés en matière de changements organisationnels, …
L'évaluation s'appuiera ainsi sur une méthode mixte associant plusieurs registres et démarches de recherche évaluatives, mobilisant les disciplines de la géographie, de la sociologie, de l'économie, de la santé publique afin :
(1) D'appréhender les enjeux auxquels les expérimentations répondent (stratégique) et le contexte au sein duquel les groupements s'inscrivent (contexte) ;
(2) De qualifier les moyens mis en œuvre et les mécanismes causaux à l'œuvre en lien avec l'expérimentation ou non ;
(3) De décrire les organisations et leur fonctionnement (structure, processus) et les transformations à l'œuvre, l'engagement et les usages des/ par les acteurs (implantation) ;
(4) De mesurer les impacts (effets).
Les approches associeront ainsi des démarches qualitatives inductives (interview et observation des acteurs dès la phase de co-construction et d'élaboration du cahier des charges), quantitatives exploratoires (enquêtes répétées auprès des groupements par questionnaire), quantitatives confirmatoires en s'appuyant sur des design quasi-expérimentaux de mesure d'impact à partir de données médico-administratives (SNDS) et/ ou constituées dans le cadre de l'expérimentation (plate-forme, enquête expérience des patients, enquêtes ad-hoc).
La mesure des impacts s'appuiera sur des designs quasi-expérimentaux afin de contourner les contraintes méthodologiques liées à la mesure d'un effet causal alors même que la mise en œuvre d'IPEP se fera auprès de groupements volontaires sans aucun mécanisme d'assignation aléatoire (randomisation). L'absence de randomisation rend difficile la séparation entre deux sources d'effets potentiels : l'expérimentation IPEP (effet causal) ou la particularité des groupements volontaires (biais de sélection).
Il s'agit alors au travers de la mobilisation de différentes méthodes économétriques de :
(1) Construire des groupes témoins comparables (des références ou contrefactuel (s)) afin de prendre en compte les biais de sélection ;
(2) De mettre en œuvre des analyses dynamiques, longitudinales, afin de faire la part entre les différences produites par l'expérimentation de celles initiales (méthodes dites des différences de différences) ;
(3) De tenir compte des différents " types " de groupements et " d'environnement " (" taxonomies " et effets fixes) afin de préciser les mesures au-delà d'un effet moyen pour tendre vers des analyses permettant de comprendre et d'interpréter correctement les différences dans les effets estimés.
Dans l'analyse d'impact, les niveaux d'analyses comme des dimensions d'intérêt seront multiples compte tenu des acteurs concernés (territoire, site, PS, patient) et des dimensions d'intérêt en lien avec les incitations et les transformations à l'œuvre et consécutives sinon contemporaines d'IPEP (coopération pluriprofessionnelle, coordination entre les niveaux de soins, pilotage de la qualité, amélioration de l'accès aux soins).
A titre d'illustration et sans épuiser ici l'ensemble des dimensions d'intérêt, nous nous intéresserons particulièrement aux thématiques suivantes :
-les conditions d'exercice avec une attention particulière aux professionnels du premier recours ;
-l'accessibilité aux soins (distance/ temps accès, reste à charge, inscription médecin traitant, gamme de soins et services …) ;
-la qualité et la pertinence des soins (expérience des patients, dépistages, suivi et traitements appropriés) ;
-les recours et parcours de soins (consultations/ visites, passage soins premiers recours-soins spécialisés, amont et aval de l'hospitalisation) ;
-etc.
Des indicateurs de résultats seront construits pour évaluer les expérimentations à travers l'ensemble de ces dimensions à partir des objectifs des expérimentations, des effets attendus en lien avec les mécanismes causaux et les enseignements de la littérature académique.
Source des données et contraintes de mise à disposition
Une phase essentielle de l'évaluation est le recueil des données, en matière de contenu des données collectées mais aussi en matière de temporalité.
Les démarches qualitatives s'appuieront sur des observations, focus groupes et entretiens. Pour les démarches quantitatives, il faudra aussi mobiliser différentes bases de données disponibles ayant un niveau d'observation ou d'agrégation variable (patients/ assurés, médecin ou professionnel de santé, groupement, " territoire " …). Il s'agira de mobiliser les données de la plate-forme collectées pour le suivi des expérimentations, les données médico-administratives du SNDS (PMSI, DCIR), ainsi que des données de contexte sociodémographique et sanitaire des territoires (INSEE, DREES, CEPIDC, etc.). Ces données permettront notamment de caractériser la situation initiale des groupements et de réaliser les analyses d'impact.
Il faudra également mettre en place des enquêtes ad hoc afin de répondre aux différents objectifs de l'évaluation, et comprendre plus finement la dynamique de construction des changements dans les regroupements en matière par exemple, d'investissement et de mobilisation des ressources liées à IPEP. Ces enquêtes devront très probablement être répétées dans le temps. Administrées par questionnaire auprès des groupements, elles pourront être complétées par des extractions de leur système d'information afin de décrire de façon homogène, la situation initiale des groupements en matière d'organisation et de pratiques, mais aussi leur évolution par les projets et investissements réalisés au cours de l'expérimentation.
Les analyses quantitatives se baseront aussi sur les données d'expérience patient sous contrainte de leur représentativité.
Calendrier de réalisation et état d'avancement du projet
Après une phase de co-construction avec des sites pilotes, l'expérimentation est entrée dans une phase de mise en œuvre mi-2019. Le protocole d'évaluation a été finalisé en juin 2019 pour une mise en œuvre à partir de mi-2019 jusqu'à fin 2023.
14. Nature des informations recueillies sur les patients pris en charge dans le cadre de l'expérimentation et les modalités selon lesquelles elles sont recueillies, utilisées et conservées
-Le projet nécessite-t-il le recueil de données spécifiques auprès des patients (données d'enquête ou de santé nécessaires à leur prise en charge) ? Comment sont-elles recueillies et stockées ?
Le suivi de certains indicateurs nécessitera un recueil ad hoc par les acteurs des groupements expérimentateurs au sein de leurs systèmes d'information (pour les indicateurs à la carte et les indicateurs socles avec recueil spécifique notamment, voir annexe 1). Les équipes soignantes restent alors responsables du traitement de ces données et de l'éventuel recueil du consentement du patient dans ce cadre.
Par ailleurs, le questionnaire portant sur l'expérience du patient dans le cadre de sa prise en charge par le groupement de professionnels de santé expérimentant IPEP sera administré aux patients dans le cadre de l'expérimentation. Pour cela, les adresses électroniques de certains patients seront recueillies par les professionnels du groupement et téléchargées sur la plate-forme en ligne dédiée, développée par la CNAM et mise à disposition des acteurs de l'expérimentation.
Les patients recevront un lien les dirigeant sur cette plate-forme où ils pourront saisir leurs réponses. L'information du patient, incluant son droit d'opposition, l'administration du questionnaire et le recueil des réponses seront assurés par cette plate-forme conformément aux règles relatives à la protection des données.
L'obligation d'information préalable des patients sur l'ensemble des finalités pour lesquelles les données sont traitées devra, dans tous les cas, être respectée.
-Les données ont-elles vocation à être partagées avec d'autres professionnels ou structures que celui qui a recueilli la donnée, selon quelles modalités ?
Les données recueillies par les acteurs des groupements expérimentateurs à partir de leurs systèmes d'information seront agrégées (c'est-à-dire rendues non nominatives) avant d'être transmises à l'Assurance Maladie.
Par ailleurs, l'Assurance Maladie partagera avec les professionnels concernés des données agrégées concernant la consommation de soins de leurs patients, telles que par exemple le nombre de consultations et d'actes médicaux et infirmiers, ou encore la délivrance de médicaments.
Concernant le questionnaire expérience patient, en 2019, une phase d'administration test de celui-ci est prévue. Ainsi, les premières 1 000 réponses recueillies seront anonymisées et feront l'objet d'une analyse statistique réalisée par la HAS afin de valider le questionnaire.
En routine, les résultats anonymisés et agrégés du questionnaire expérience patient seront restitués au groupement ainsi qu'aux institutions pilotes de l'expérimentation IPEP (CNAM et Ministère).
-Les modalités de recueil du consentement du patient à la collecte, au stockage, au partage et à l'utilisation des données ainsi recueillies doivent être, le cas échéant, précisées.
Le décret n° 2018-125 du 21 février 2018 relatif au cadre d'expérimentations pour l'innovation dans le système de santé prévu à l'article L. 162-31-1 du code de la sécurité sociale prévoit que le patient est informé de l'existence de l'expérimentation et du partage éventuel des données le concernant entre les acteurs de l'expérimentation, concourant à sa prise en charge. Sur ce partage de données, l'absence d'opposition (exprimée par tout moyen y compris sous forme dématérialisée) du patient dûment informé vaudra consentement. Dès lors, il convient seulement que soit tracé le fait que le patient a bien reçu l'information.
L'information du patient de l'expérimentation est initiée au moment de la consultation. Des supports d'information (sous format papier et numérique) seront mis à disposition des expérimentateurs de manière à assurer une homogénéité de la communication.
Par ailleurs, un courrier électronique informera les patients concernant la collecte, le stockage, le partage et l'utilisation des données recueillies dans le cadre de sa réponse au questionnaire expérience patient.
Conformément au règlement général sur la protection des données (RGPD) et à la loi n° 78-17 du 6 janvier 1978 relative à l'informatique, aux fichiers et aux libertés modifiée (dite loi " informatique et libertés "), l'Assurance Maladie est responsable du traitement des données pour la gestion de l'expérimentation sur la plateforme, et co-responsable avec l'Institut de recherche et de documentation en économie de la santé (IRDES) des données d'évaluation, et s'engage à prendre toutes les mesures nécessaires pour garantir la sécurité et la confidentialité des données personnelles qui seront collectées dans le cadre de cette expérimentation.
La loi protège le caractère privé et la sécurité des informations concernant la santé. Seul le groupement de professionnels de santé, hôpitaux et établissements sociaux et médico-sociaux travaillant ensemble à la prise en charge thérapeutique des patients aura la possibilité de lire et partager des informations concernant les dossiers médicaux afin d'améliorer les parcours de santé.
Les patients ont la possibilité de s'opposer, par tout moyen, y compris dématérialisé (courrier, message électronique), au partage d'information [s] entre les professionnels participant à l'expérimentation ou à des fins d'évaluation.
15. Liens d'intérêts
Liste des professionnels, organismes ou structures participant aux projets d'expérimentation qui remettent à l'ARS une déclaration d'intérêt au titre des liens directs ou indirects (au cours des cinq années précédant l'expérimentation) avec des établissements pharmaceutiques ou des entreprises fabriquant des matériels ou des dispositifs médicaux.
Pour plus de précisions, vous pouvez vous reporter à l'annexe de l'arrêté du 31 mars 2017 qui fixe le contenu de la DPI.
L'expérimentation IPEP ne visant pas d'incitation particulière au regard de l'utilisation de produits issus d'établissements pharmaceutiques ou d'entreprises fabriquant des matériels ou dispositifs médicaux, les groupements d'acteurs participants n'ont pas à établir une déclaration d'intérêt particulière pour l'expérimentation IPEP.
16. Fournir les éléments bibliographiques et/ ou exemples d'expériences étrangères
-Accountable Care Organizations : enseignements d'un modèle développé aux Etats-Unis
https://solidarites-sante.gouv.fr/IMG/pdf/ipep_rapport_synthese_aco_20161209.Pdf.
-Mission d'étude sur l'expérimentation par le National Health Service anglais (NHS) de nouveaux modèles d'organisation et de financement intégrés
https://solidarites-sante.gouv.fr/IMG/pdf/ipep_mission_uk_rapport_vd_word_dgos_08-12-2016.pdf
-Expériences étrangères de coordination des soins : les Accountable Care Organizations de Medicare aux Etats-Unis, Natacha LEMAIRE, Novembre 2017
https://www.ars.sante.fr/system/files/2017-11/2017-11-6_MSSP%20ACO%20VDEF.pdf
-L'expérience américaine des Accountable Care Organizations : des enseignements pour la France ?, Julien Mousquès (Irdes), Marie-Camille Lenormand (CNAM)
Questions d'économie de la santé n° 227-Avril 2017
http://www.irdes.fr/recherche/questions-d-economie-de-la-sante/227-l-experience-americaine-des-accountable-care-organizations-desenseignements-pour-la-france.Pdf
17. ANNEXE 1
LISTE DES INDICATEURS DE QUALITÉ SOCLES
|
N° |
Thématique |
Nom indicateur |
Evolution attendue (baisse, hausse, stabilité) |
Objectif général de l'indicateur |
Source des données |
Ajustement (15) |
|---|---|---|---|---|---|---|
|
1 |
Améliorer l'accès aux soins |
Part des usagers domiciliés sur le territoire du groupement qui ont déclaré un médecin traitant |
Hausse |
Favoriser l'accès au médecin traitant pour la population du territoire (meilleur suivi et meilleure coordination) |
Calculé à partir des bases nationales (SNDS) |
Non |
|
2 |
Améliorer l'accès aux soins |
Taux de passages aux urgences non suivis d'hospitalisation |
Baisse |
Favoriser la prise en charge des soins non programmés en ville pour diminuer les recours aux urgences |
Calculé à partir des bases nationales (SNDS) |
Oui |
|
3 |
Coordination des prises en charge (éviter les ruptures de parcours de soins et réduire les hospitalisations évitables) |
Part des admissions directes en hospitalisation de médecine |
Hausse |
Favoriser la coordination ville-hôpital pour une meilleure anticipation des besoins d'hospitalisation |
Calculé à partir des bases nationales (SNDS) |
Oui |
|
4 |
Coordination des prises en charge (éviter les ruptures de parcours de soins et réduire les hospitalisations évitables) |
Taux d'usage des dossiers numériques de coordination (solution e-parcours ou, à défaut, DMP) |
Hausse |
Favoriser le partage d'informations entre les professionnels de santé autour du patient afin de sécuriser les prises en charge |
Recueil ad hoc |
Non |
|
5 |
Coordination des prises en charge (éviter les ruptures de parcours de soins et réduire les hospitalisations évitables |
Taux de réhospitalisation à 30 jours |
Baisse |
Prévenir les réhospitalisations par la mise en place d'actions coordonnées entre la ville et l'hôpital (16) |
Calculé à partir des bases nationales (SNDS) |
Oui |
|
6 |
Coordination des prises en charge (éviter les ruptures de parcours de soins et réduire les hospitalisations évitables) |
Taux d'hospitalisations potentiellement évitables (17) |
Baisse |
Prévenir les hospitalisations par un bon suivi en ambulatoire ou, plus largement, par une meilleure coordination entre les acteurs de ville |
Calculé à partir des bases nationales (SNDS) |
Oui |
|
7 |
Coordination des prises en charge (éviter les ruptures de parcours de soins et réduire les hospitalisations évitables) |
Qualité de la lettre de liaison à l'entrée |
Hausse |
La lettre de liaison est un élément clé de la continuité des soins, contribuant à un meilleur partage de l'information de la ville vers l'hôpital et à une sécurisation de la prise en charge. Cet indicateur vise à évaluer la qualité de ce document (18). |
Recueil ad hoc |
Non |
|
8 |
Coordination des prises en charge (éviter les ruptures de parcours de soins et réduire les hospitalisations évitables) |
Part des hospitalisations en médecine et psychiatrie avec une consultation (MG ou IDE) dans le mois suivant la sortie |
Hausse |
Cet indicateur vise à apprécier la capacité des PS en ville à organiser un suivi post-hospitalisation rapide pour éviter les ruptures hôpital-ville et limiter le risque de réhospitalisation |
Calculé à partir des bases nationales (SNDS) |
Non |
|
9 |
Renforcer la prévention et la promotion de la santé |
Actions de promotion et prévention de la santé proposées par le groupement |
Hausse |
Le renforcement des démarches de promotion et prévention est un axe fort des politiques publiques en santé. Cet indicateur vise à apprécier les efforts des groupements en matière de volume de patients ayant participé à ces démarches. Le choix des thématiques portées est laissé aux groupements au regard des besoins identifiés sur leurs patientèles. |
Recueil ad hoc |
Non |
|
10 |
Garantir la pertinence des prescriptions médicamenteuses |
Part des patients du groupement en polyprescription continue |
Baisse |
Apprécier la capacité des acteurs à se coordonner pour réduire les situations de polymédication (19). |
Calculé à partir des bases nationales (SNDS) |
Oui |
(15) Ajustement sur les caractéristiques suivantes : âge, sexe, nombre d'ALD, type d'ALD, CMUc/ ACS (C2S à partir de novembre 2019), indice de désavantage social de la commune de résidence (FDep), indicateur d'accessibilité potentielle localisée (APL) aux médecins généralistes de la commune de résidence ; de plus, pour les indicateurs " Part des admissions directes en hospitalisation de médecine " et " Taux de réhospitalisation à 30 jours " : motif du séjour hospitalier (groupe de planification) et niveau de sévérité du GHM du séjour.
(16) Voir le document HAS " Point clés et solutions " de juin 2013 : https://www.has-sante.fr/portail/jcms/c_1603223/fr/fiches-points-cles-organisation-des-parcours. La définition et la méthode de cet indicateur sont explicitées dans le guide DGOS ( https://solidarites-sante.gouv.fr/IMG/pdf/guide_indicateur_mco_rehospitalisations_1-7_jours_dgos-atih_2017_05_12.d.pdf). La méthode sera adaptée à la logique patientèle.
(17) La DGOS a développé l'indicateur HPE après un travail de revue de littérature, en collaboration avec l'ATIH pour l'algorithme de calcul. La définition de cet indicateur repose sur la nature évitable d'hospitalisations dont il a été internationalement admis qu'une meilleure coordination avec les acteurs de ville prévient le risque d'hospitalisation. L'indicateur HPE pourra être décliné par pathologie (sur les 5 intégrées dans l'indicateur : asthme, déshydratation, insuffisance, BPCO, diabète) en fonction des priorités des groupements Guide HPE : https://www.scansante.fr/sites/default/files/content/396/vf _-_ guide_hpe_2018_03_20.pdf.
(18) Il est le pendant de l'indicateur HAS Qualité de la lettre de liaison à la sortie d'hospitalisation. Décret n° 2016-995 du 20 juillet 2016 relatif aux lettres de liaison instaure l'obligation pour le praticien qui adresse un patient à un établissement de santé d'accompagner sa demande d'une lettre de liaison qui intègre notamment les informations suivantes : motifs de la demande d'hospitalisation, les traitements en cours et les allergies connues.
(19) La polymédication induit un fort risque d'iatrogénie et est une cause importante d'hospitalisation.