Les palmarès des hôpitaux et cliniques français sont-ils fiables ?
Tout a commencé par un échange sur Twitter à la fin de ce mois août : pour la 19ème année consécutive (difficile de ne pas retenir un soupir…), un grand quotidien français publie son « Palmarès des hôpitaux et cliniques ». L’information est vite et abondamment relayée, en particulier par les établissements primés au classement et leurs fédérations.
C’est alors qu’une réaction singulière sur le réseau à l’oiseau bleu attira mon attention. Elle provenait d’un directeur d’hôpital, celui du Centre Hospitalier de Thuir, spécialisé en santé mentale et basé dans les Pyrénées Orientales. Il écrivit ceci: « Le @CHTHUIR très bien classé. Gratifiant. Mais je dirige un #hôpital pas un club de foot ». Le ton facétieux et lucide à la fois me plut d’emblée. S’ensuivirent des réactions souvent en faveur de ce directeur et de ses remarques, qui s’expliqua plus tard, interrogé par la presse régionale : « Oui Thuir est bien classé […] ce qui m’autorise à dire ce que je pense de ce genre de classement qui ne prend pas en compte le côté humain que l’on donne aux patients. L’humanité ne se décline pas dans les chiffres. Je fais bien plus confiance aux certifications d’établissements qui sont une véritable évaluation officielle de la prise en charge assurée par la Haute autorité de la Santé." ».
Je dois donc l’idée de ce post à Monsieur Philippe Banyols, directeur du Centre Hospitalier de Thuir, et qui se résume de la manière suivante : quel est le niveau de certification des établissements classés au palmarès du Point en 2016 ?
Bien sûr, ce type de recherche va m’amener à interroger les résultats et la méthodologie choisie par Le Point. L’année dernière, à la même époque, j’avais déjà écrit que les critères retenus par le journal impliquaient, par construction, un bon classement lorsque l’établissement était de grande taille[1]. La corrélation était avérée entre le rang au classement, le nombre de millions au budget et le résultat comptable.
A nouveau cette année, si d’aventure nos constats et nos résultats divergeaient, je devrais donc assumer, avec des moyens tout autres, une forme de critique et d’opposition. Pas facile… Le titre est gros, le tirage encore plus, la longévité du classement l’a élevée au rang de quasi-institution et de formidable caisse de résonance publicitaire pour les « happy few » classés dans les 50 premiers.
Mettons alors les points sur les « i » : ma carrière à la durée désormais honorable m’a montré que les débuts de ces classements furent difficiles voire houleux, de part et d’autres, mais qu’ils font désormais partie du paysage et de l’arsenal d’informations utiles aux patients et aux professionnels. La responsabilité en est donc aussi très grande : les résultats publiés sont-ils finalement fiables au regard d’autres critères d’analyse, et spécifiquement ceux relatifs à la qualité ?
Pourquoi comparer les résultats des classements avec ceux de la certification ?
La France a mis en place depuis plus de 20 ans maintenant un système de certification des établissements de santé, publics et privés. D’emblée positionnée comme un moyen fondamental d’améliorer la qualité et la sécurité des soins et des prestations, elle est menée par la Haute Autorité de Santé (HAS), après avoir fait l’objet d’expérimentations itératives et approfondies. Elle connait des évolutions régulières, les indicateurs et les points de contrôle avançant vers des niveaux d’exigence plus élevés ou parce que les organisations et les techniques médicales et soignantes connaissent des cheminements non pas statiques mais dynamiques.
Cette démarche n’est pas toujours bien connue du grand public, voire des professionnels des établissements de santé eux-mêmes. La Haute Autorité de Santé fait alors un travail important de publication et d’information, notamment en diffusant la totalité des rapports et des résultats des démarches de certification, établissement par établissement sur son site web et sur celui consacré aux indicateurs hospitaliers, Scope Santé, piloté par le Ministère de la Santé.
Des versions qui évoluent, et qui aboutissent à un niveau de certification
En raison de l’évolution des pratiques et des besoins, la procédure de certification est en veille et en évolution régulière. La première procédure datait de juin 1999 et avait comme objectif premier de promouvoir la mise en œuvre de démarches qualité.
Une deuxième salve de critères et de modalités a été déployée à partir de 2005, utilisée jusqu’en 2010. Outre la mesure de la mise en place des démarches d’amélioration de la qualité, cette version a cherché à évaluer un niveau de qualité atteint sur plusieurs dimensions (politique et management, ressources humaines, fonctions hôtelières et logistiques, qualité et gestion des risques, sécurité de l’environnement, système d’information, prise en charge du patient). Parmi les axes prioritaire, l’évaluation des pratiques professionnelles (EPP) a, de fait, renforcé la médicalisation de la démarche.
La troisième version de la certification, dite « V2010 » constitue une évolution sensible du dispositif. Entamée début 2010, elle pose les bases, entre autres, d’une information claire et accessible pour les usagers et du rôle de la qualité comme instrument de régulation et d’évaluation des établissements de santé. Les dernières visites de certification ont eu lieu jusqu’en décembre 2014.
Si le manuel de certification conserve son horizon jusqu’en 2018, la nouvelle procédure de certification, dite « V2014 » privilégie une approche par thématique (à l’appui d’une liste ad hoc). Et pour faire court, le niveau d’exigence, pour une véritable gestion par la qualité au quotidien, monte d’un cran.
A l’issue de la certification v2014 (la déclinaison en v2010 est similaire), une note finale est attribuée à l’établissement selon le barème suivant :
De façon plus détaillée, sur chaque thématique, la Haute Autorité de santé peut prononcer des recommandations d'amélioration, des obligations d'amélioration ou des réserves.
Des résultats qualité complets, disponibles librement sur internet
Les documents de restitution, d’évaluation et de suivi de visites sont disponibles librement sur internet. Le site Scope Santé [1] existe depuis environ 3 ans. Il a été créé à l’initiative et sous le pilotage du Ministère de la Santé. Son objectif est de fournir des informations sur la qualité et la sécurité par hôpital ou clinique en France. La base de données est très riche… et pas toujours facilement interprétable pour qui connait peu la procédure de certification. Soulignons cependant le bel effort ergonomique et d’illustration, avec la présentation d’une fiche par établissement (plus exactement par site), avec pour les critères qualité principaux un système de codification et de comparaison.
Le deuxième site très important pour la certification et les résultats par établissement est celui de la HAS[1]. Pour chaque établissement visité, la décision, le niveau de certification et le rapport de visite sont tous téléchargeables et visualisables. Une mine précieuse !
Nos choix méthodologiques pour la présente étude
Nous avons utilisé les résultats publiés dans le dossier spécial du Point n°2294 du 25 août 2016, en version papier. Pour chacun des établissements publics (50 hôpitaux mentionnés dans le « tableau d’honneur ») et privés (50 cliniques mentionnées dans le « tableau d’honneur »), nous avons recherché dans Scope Santé les informations suivantes :
-
Données relatives à la procédure de certification la plus récente (version, date, niveau de certification, suivi des décisions et état de la procédure le cas échéant), mentionnée dans l’onglet « Fiche détaillée » / « Qualité de l’établissement » / « Certification de l’établissement »
-
Niveau de qualité global, puis sur 3 sous-thèmes : « Lutte contre les infections nosocomiales », « Evaluation de la douleur », « Dossier patient », « Lient hôpital / ville ». Ces informations sont visibles dans l’onglet « Qualité »
-
Au besoin, nous avons le rapport de certification complet sur le site de l’HAS pour quelques établissements
Nous n’avons pas été en mesure d’identifier les informations complètes et les niveaux de certification pour 5 structures : les Hôpitaux Privés de Metz, le Centre Hospitalier de la Roche-sur-Yon, l’Hôpital Européen de Marseille, l’Hôpital Privé des Côtes-d’Armor, le Pôle Santé Orélience. Cette situation peut s’expliquer par des modifications de structures juridiques depuis la dernière date de certification ou des informations non encore publiées et validées par l’HAS.
Lorsque des entités sont multisite, les présentations, tant du Point que de la HAS ou Scope Santé, peuvent être fournies par site ou par entité juridique globale. Au cas par cas, nous avons cherché à trouver la meilleure correspondance, en procédant, au besoin, à des regroupements ou à des subdivisions.
On peut être au "tableau d'honneur" sans avoir une qualité niveau "A"...
Voilà qui est dit (et dans un accès de trivialité, j’aurai bien dit que mes yeux s’en sont bien écarquillés de surprise…) : tant pour les établissements publics que privés, les nommés au tableau d’honneur n’atteignent pas tous, loin s’en faut, le niveau de certification maximal, à savoir « A ». Voici ci-après les deux palmarès, un premier pour les établissements publics ou privés à but non lucratif, puis pour les privés à but lucratif.
Du côté des établissements publics, si la plupart est bien certifiée (avec recommandations le plus souvent), il faut attendre la 28ème place du palmarès, occupée par l’Hôpital Européen Georges Pompidou à Paris, pour voir un hôpital certifié avec la meilleure note, à savoir « A ».
Les 2/3 des établissements publics du palmarès sont certifiés en B, et seulement 10 % (5 en tout sur 50…) obtiennent le niveau maximum A. Etonnant si l’on considère que sont mis en avant ici les supposés meilleurs hôpitaux de France…
La comparaison, issue de Scope Santé avec l’ensemble des établissements français nous en dit un peu plus : ainsi, 45 % de tous les établissements français sont en B, et surtout 40 % en A.
Le tableau du palmarès public, avec un cumul de 73 % en A ou B fait donc moins bien que la moyenne nationale…
Mais il y a bien plus embêtant que cela : près du quart du palmarès a été certifié en C, et surtout, 2 établissements publics classés par Le Point parmi les meilleurs de France sont en sursis de certification avec la note actuelle de D ! Le premier d’entre eux est le CHU de Montpellier, qui pointe tout de même très haut à la 8ème place. Très loin de moi la formulation d’un quelconque jugement de valeur à cette situation. Car j’ai longtemps travaillé au CHU de Montpellier. Un nombre important de mes proches travaille encore actuellement dans cet établissement majeur du Sud-est, et j’ai même fermement souhaité accoucher à chaque fois à la maternité d’Arnaud-de-Villeneuve.
Mais voilà : cette fois-ci, le CHU de Montpellier a été jugé comme devant sensiblement améliorer ses processus et certaines de ses organisations pour être certifié. J’ai toute confiance et je sais que les équipes travaillent avec investissement et engagement sur ces sujets pour les rendre conforme aux standards de qualité attendus. Mais comment comprendre alors sa position de 8ème dans Le Point ?
Filant cet exemple jusqu’au bout, voici la synthèse des résultats globaux. Les points qui ont donné lieu à des réserves et à des recommandations portent sur le droit des patients (noté C), la gestion et le circuit du médicament (C), l’identification du patient (C) et la salle de naissance (D).
Le dernier rapport complet de certification est librement disponible et consultable sur le site de l’HAS. Voici par exemple ce qui est inscrit au sujet du management de la prise en charge du patient en salle de naissance [1]:
Le CHU de Montpellier avait 6 mois (jusqu’à cet été) pour s’améliorer, ce dont je suis convaincue. Mais le palmarès du Point n’aurait-il pas dû indiquer cette information dans son classement, aux vues des éléments connus et relevés par les experts dans le rapport de certification ?
Du côté des établissements privés à but lucratif, les concordances sont plus assurées entre rang et qualité, avec une présence plus importante de cliniques certifiées en A.
Ainsi, la majorité des établissements privés du palmarès sont certifiés en A (52%) puis en B (38%). Si donc une minorité doit faire preuve d’améliorations, voire de réserves, il est à nouveau surprenant de noter qu’une clinique pointe à la 34ème place des supposés meilleurs tout en ayant un sursis à certification, puisque notée en D.
L’échantillon de ces établissements privés du palmarès fait mieux que la répartition nationale (pour rappel : 40 % en A, 45 % en B, 12% en C, 2% en D).
Les raisons possibles de ces écarts
Passés le constat et la surprise, attachons-nous maintenant à repérer des facteurs d’explication entre ce classement et les résultats de certification.
Parmi les points identifiables, la question de la méthodologie est centrale. Une page entière est dédiée dans l’édition papier du magazine à ce sujet. En résumé, voici les bases qui président à l’analyse et au classement des établissements français :
-
Une évaluation par discipline médicale (respectivement 63 et 37 médicales et chirurgicales).
-
Un questionnaire établi par le Point, et transmis en début d’année 2016 à 1 154 établissements, mais dont le contenu n’est pas fourni.
-
L’utilisation des données du Programme de Médicalisation des Systèmes d’Information (24,9 millions de séjours).
-
L’analyse au travers de 8 critères : volumes d’activité, notoriété, ambulatoire, technicité, spécialisation, coeliochirurgie, indice de gravité des cas traités, mortalité.
Donc, à part le dernier critère, le classement repose sur des données quantitatives et « de production » (ce qui a été réalisé), alors que la démarche de certification repose sur des audits et analyses qualitatifs et la manière de produire (comment c’est organisé).
Si j’osais un parallèle douteux, c’est un peu comme si on classait les compagnies aériennes en fonction de leur nombre de passagers, du type de lignes (court / moyen / long courrier), de la complexité des liaisons, du profil des clients (exigeants, retraités, jeunes, business etc…), du niveau de sophistication des aéronefs, mais sans intégrer le niveau de respect de la réglementation sur l’ENSEMBLE et la transversalité de la compagnie, des procédures en matière de gestion des risques ou du niveau de réalisation réel de la maintenance, du suivi des appareils et de la qualification du personnel.
En conclusion, l’utilisation de données chiffrées est nécessaire et intéressante pour évaluer les établissements, voire les classer. Mais elle ne saurait être suffisante pour affirmer avec certitude si les uns sont véritablement meilleurs que les autres. La France dispose, de plus, de nombreuses informations publiques et exhaustives sur toutes ces thématiques, pour une meilleure information de tous, et des patients en premier lieu.
EPP : Evaluation des Pratiques Professionnelles
HAS : Haute Autorité de Santé
PMSI : Programme de Médicalisation des Systèmes d'Information
Pilar vous offre de pouvoir télécharger ce post (au format pdf) en cliquant ici [+]
Pilar est spécialisée dans la formation, le conseil et le recrutement en contrôle de gestion et aide au pilotage hospitalier. Nos programmes sont spécialement conçus pour vous accompagner sur ces sujets.
Posté le 8 septembre 2016 par Nathalie L'Hostis
- Se connecter pour poster des commentaires
