Contrôler les étapes de l’évaluation externe et bien choisir son cabinet

Contexte

D’après l’Agence nationale de l’évaluation et de la qualité des établissements et services sociaux et médico-sociaux (Anesm), une évaluation externe porte sur la pertinence, l’impact et la cohérence des actions déployées par les établissements et les services, de manière privilégiée.

Elle s’attachera aux missions imparties, aux besoins et aux attentes des populations accueillies.

Les champs des évaluations externe et interne sont les mêmes afin d’assurer la complémentarité des analyses portées sur un même établissement et, de fait, de pouvoir apprécier les évolutions et les effets des mesures prises pour l’amélioration continue du service rendu.

Pour réaliser leur évaluation externe, les ESSMS doivent choisir parmi des organismes habilités, mais plusieurs questions se posent : le choix de l’organisme (parmi quelque 900), le coût et le déroulement de l’évaluation.

Cette fiche a été rédigée pour vous aider à répondre à ces nombreuses interrogations.

Connaître les dates limites de son évaluation externe

Le décompte du délai des évaluations externes se déclenche à la date de l’autorisation initiale. La durée de droit commun de l’autorisation est de quinze ans, généralisée par l’article 80 de la loi n° 2002-2 du 2 janvier 2002.

Régime transitoire

Cependant, il résulte de la législation qu’un régime particulier pour les ESSMS existe pour, d’une part, les ESSMS autorisés et ouverts avant la date de publication de la loi n° 2002-2 du 2 janvier 2002 et, d’autre part, ceux autorisés et ouverts entre cette date et avant celle de la promulgation de la loi HPST n° 2009-879 du 21 juillet 2009.

Durant cette période de transition, les ESSMS devront procéder à la transmission des résultats d’au moins une évaluation externe aux autorités compétentes (cf. tableaux ci-dessous).

  • ESSMS autorisé et ouvert avant le 3 janvier 2002 :
  • ESSMS ouvert entre le 3 janvier 2002 et le 20 juillet 2009, même principe :

Régime de droit commun

Sur une période d’autorisation de quinze ans, les ESSMS devront procéder à deux évaluations externes, chacune précédée de la communication des résultats d’une évaluation interne et suivie d’une troisième transmission de résultats d’évaluation interne.

La première évaluation externe, intervenant au plus tard sept ans après la date d’autorisation, examinera les suites réservées aux résultats issus de la première évaluation interne et sera suivie de la seconde évaluation interne.

La seconde évaluation externe, intervenant au plus tard deux ans avant le renouvellement de l’autorisation, appréciera la dynamique générale de la démarche d’amélioration continue de la qualité des prestations et des activités, à travers notamment les suites réservées aux évaluations internes, dans la continuité de la première évaluation externe (cf. tableau ci-dessous).

  • ESSMS autorisé et ouvert à compter du 21 juillet 2009 :

Le renouvellement de l’autorisation des ESSMS, selon le décret n° 2014-1368 du 14 novembre 2014, est exclusivement subordonné aux résultats de leur évaluation externe ; il est accordé tacitement par les autorités compétentes, sauf en cas d’injonction particulière (cf. rubrique « Foire aux questions »).

Rappelons que l’évaluation externe doit être communiquée au plus tard un mois suivant l’échéance des deux ans précédant la date du renouvellement de l’autorisation.

S’approprier les fondamentaux ou l’ABC de l’évaluation externe

La sélection de l’organisme habilité est réalisée dans le cadre habituel des procédures de mise en concurrence (faire établir plusieurs devis) et, pour les établissements publics, dans le respect des règles du Code de la commande publique (annexe 3-10 du décret du 15 mai 2007 et chapitre III, section I, 1-1 du Code de l’action sociale et des familles).

L’évaluateur externe doit être choisi parmi les organismes habilités par l’Anesm. La liste est publiée au Bulletin officiel du ministère chargé de l’Action sociale (décret n° 2007-975 du 15 mai 2007, article 1er, article D. 312-201 du CASF) ou est consultable sur le site de l’Anesm. Attention, certains organismes se voient retirer leur agrément : seule la mise à jour des organismes sur le site de l’Anesm permet de le voir. Par conséquent, faites toujours votre choix en fonction de la dernière liste publiée sur le site de l’Anesm.

Ni l’organisme habilité, ni l’un des professionnels intervenant pour le compte d’un organisme habilité ne peut, à l’exception des opérations de facturation qui sont la contrepartie de cette opération, avoir au moment de l’évaluation ou avoir eu au cours de l’année précédente d’intérêt financier direct ou indirect dans l’organisme gestionnaire de l’établissement ou du service concerné.

Remarque

L’existence d’un conflit d’intérêts avéré peut entraîner le retrait de la liste des organismes habilités par l’Anesm. Ces dispositions s’appliquent de la même façon en cas de non-respect des règles déontologiques (article D. 312-199 du CASF).

L’organisme habilité qui procède à l’évaluation externe prend en compte la certification obtenue par l’établissement pour les activités et les prestations qui font l’objet de l’évaluation externe (évaluation externe et certification : article D. 312-206 du CASF). Cette prise en compte ne dispense pas l’établissement de l’obligation de faire procéder à l’évaluation externe.

Attention

Sont prises en compte les certifications qui ont été réalisées par un des organismes mentionnés à l’article L. 115-28 du Code de la consommation conformément à un référentiel de certification.

Chaque certification retenue devra rédiger une grille de correspondance avec le champ des évaluations externes, validée par l’Anesm. L’évaluation portera donc sur les champs restant en dehors de cette grille.

3

Tenir compte de la qualification et de la compétence des évaluateurs externes

D’après l’annexe 3-10 du décret du 15 mai 2007 (chapitre III, section II, 2.4), cinq critères sont demandés aux évaluateurs externes :

  • une expérience professionnelle dans le champ médico-social observé ;
  • une formation aux méthodes évaluatives s’appuyant sur celles existant en matière d’évaluation des politiques publiques et comportant une analyse pluridimensionnelle, globale, utilisant différents supports ;
  • des connaissances actualisées et spécifiques dans le domaine de l’action sociale portant sur les RBPP (recommandations de bonnes pratiques professionnelles) de l’Anesm, sur les orientations générales des politiques de l’action sociale et sur les dispositifs ;
  • en fonction de l’offre disponible, un commanditaire qui privilégie le caractère transversal et la capacité d’adaptation des évaluateurs à la diversité des problématiques ;
  • des modalités de travail qui garantissent un examen contradictoire des points de vue exprimés afin de valider un « diagnostic partagé ».

Évaluer la crédibilité de la proposition de l’évaluateur

D’après l’annexe 3-10 du décret du 15 mai 2007 (chapitre III, section II, 2.5), cinq points essentiels permettent d’évaluer la crédibilité de la proposition d’un organisme d’évaluation externe :

  • les références individuelles et l’engagement de l’évaluateur à soumettre à l’agrément préalable du commanditaire toute modification ultérieure de l’équipe d’évaluateurs ;
  • la compréhension par l’évaluateur du projet d’établissement, du contexte, et sa capacité à définir des questions ;
  • la proposition d’un plan d’intervention (étapes, méthode d’évaluation, modalités de recueil des informations) ;
  • la capacité de l’évaluateur à se situer dans une logique d’écoute des professionnels et des usagers pour faire émerger des propositions d’évolution ;
  • la clarté et la précision du devis (notamment le nombre de jours pour chaque étape, le prix de journée, le rapport qualité/prix).

Valider le coût, le financement et l’enregistrement comptable de l’évaluation externe

Afin d’avoir un ordre de grandeur du coût d’une évaluation externe en Ehpad, il convient de se référer au bilan des évaluations externes du 30 juin 2014 réalisé par l’Anesm. Celui-ci précise qu’une évaluation externe oscillerait entre 4 800 € et 7 800 €.

La circulaire budgétaire du 5 avril 2012 précise quant à elle son imputation comptable (cf. son annexe 1).

L’instruction budgétaire et comptable M22 du 31 mars 2009 prévoit que les frais d’évaluation externe mis en œuvre par l’ESSMS s’enregistrent au compte 2013 « Frais d’évaluation ». Ces frais font l’objet d’un amortissement sur une période qui ne peut excéder cinq ans.

Cette instruction budgétaire et comptable s’inspire du plan comptable général (PCG) et a été rédigée conformément à celui-ci. Or, l’article 361-1 du PCG précise que les dépenses engagées à l’occasion d’opérations qui conditionnent l’existence ou le développement d’une entité peuvent être inscrites soit à l’actif comme frais d’établissement (compte 201), soit au compte de résultat (classe 6).

L’option est donc offerte aux ESSMS de comptabiliser leurs frais d’évaluation externe :

  • au compte 2013 ;
  • ou au compte 617 « Études et recherches ».

Essayez de négocier ou de limiter l’impact du prix de votre évaluation externe :

  • en utilisant les crédits exceptionnels non reconductibles qui étaient prévus par l’ARS pour financer cette évaluation ;
  • en essayant de vous regrouper avec d’autres établissements pour lancer votre offre d’évaluation externe. Si le prestataire intervient sur plusieurs établissements dans un périmètre rapproché, il pourra certainement revoir ses coûts à la baisse.

Notre conseil

Alors que la liste initiale ne comportait qu’une centaine d’organismes habilités, aujourd’hui, il y en a plus de 1 600 ! Il conviendra alors de vérifier quelques points essentiels :

  • la composition des équipes : éviter les évaluateurs qui viennent seuls. Il est difficile de connaître l’ensemble des secteurs d’un Ehpad (soins, administratif, gestion des risques, réglementation, hôtellerie…), et il faut de l’hétérogénéité ;
  • l’expérience dans le secteur : les organismes sont habilités à intervenir aussi bien dans le secteur de l’enfance, du domicile, du handicap que sur celui de la personne âgée, alors méfiance… ;
  • le délai et la durée d’intervention : ni trop longs, ni trop courts. L’évaluation ne peut pas se faire sur une seule journée, et un diagnostic doit être partagé.

Évitez les erreurs

Attention :  l’habilitation des organismes par l’Anesm ne donne pas automatiquement la compétence aux organismes. En effet, pour faire partie de cette fameuse liste, il n’y a qu’un dossier administratif à remplir. Aucune compétence particulière n’est exigée : seule la règle déontologique demande aux futurs organismes habilités de respecter les impératifs du décret du 15 mai 2007. Alors ne vous laissez pas uniquement tenter par le coût de la mission, car vous risquez d’avoir des surprises qui peuvent peser sur votre futur renouvellement d’autorisation.

Faq

Y a-t-il des différences notables entre certains référentiels sur le marché et le cahier des charges d’évaluation externe prévu à l’annexe 3-10 du Code de l’action sociale et des familles ?

Non, car des correspondances partielles existent : deux référentiels sur le marché (NF et Qualicert) se sont vu reconnaître une correspondance partielle entre leur grille d’évaluation et les référentiels officiels en avril 2013. Les annexes des deux arrêtés (arrêté du 17 avril 2013 n° NOR AFSA1310457A et arrêté du 17 avril 2013 n° NOR AFSA1310295A) établissent le parallèle de façon précise (cf. rubrique « Aller plus loin », « Références juridiques »).

Quelle est aujourd’hui la procédure de renouvellement dans le cadre du décret ?

Le renouvellement de l’autorisation, subordonné aux résultats de l’évaluation externe, est accordé tacitement, sauf si l’autorité compétente enjoint l’établissement de présenter une demande de renouvellement dans un délai de six mois.

La demande comportera :

  • les résultats de l’évaluation externe ;
  • des attestations prouvant que l’établissement a pris des dispositions pour satisfaire aux observations mentionnées dans l’injonction.

Elle sera communiquée par courrier recommandé avec accusé de réception.

Quel est l’objectif de l’évaluation externe des ESSMS ?

L’évaluation externe vise à analyser la pertinence, l’impact et la cohérence des actions des ESSMS, tout en s’assurant qu’elles répondent aux missions et aux besoins des usagers accueillis.

Comment choisir un organisme habilité pour l’évaluation externe ?

Il est recommandé de comparer plusieurs devis, de vérifier l’expérience de l’organisme dans le secteur concerné et de consulter la liste des organismes habilités mise à jour par l’Anesm.

Quelles sont les échéances pour les évaluations externes ?

Pour les ESSMS autorisés après le 21 juillet 2009, la première évaluation externe doit se faire dans les 7 ans suivant l’autorisation et la seconde 2 ans avant le renouvellement.

Comment est déterminé le coût de l’évaluation externe ?

Le coût peut varier entre 4 800 € et 7 800 €, selon le bilan de l’Anesm de 2014. Les établissements peuvent optimiser ce coût en se regroupant pour des évaluations conjointes.

Quelles sont les conséquences d’un conflit d’intérêts avéré avec un organisme d’évaluation ?

Un conflit d’intérêts avéré peut entraîner le retrait de l’organisme de la liste des habilités, ce qui rend nécessaire la sélection d’un autre évaluateur.

Aller plus loin

Références juridiques

  • Code de l’action sociale et des familles : articles L. 312-8 et L. 313-5
  • Loi n° 2002-2 du 2 janvier 2002 rénovant l’action sociale et médico-sociale
  • Loi n° 2009-879 du 21 juillet 2009 portant réforme de l’hôpital et relative aux patients, à la santé et aux territoires
  • Décret n° 2007-975 du 15 mai 2007 fixant le contenu du cahier des charges pour l’évaluation des activités et de la qualité des prestations des établissements et services sociaux et médico-sociaux
  • Décret n° 2012-147 du 30 janvier 2012 relatif aux conditions de prise en compte de la certification dans le cadre de l’évaluation externe des établissements et services sociaux et médico-sociaux
  • Décret n° 2014-1368 du 14 novembre 2014 relatif au renouvellement des autorisations des établissements et services sociaux et médico-sociaux
  • Circulaire DGCS/SD5C/2011/398 du 21 octobre 2011 relative à l’évaluation des activités et de la qualité des prestations délivrées dans les établissements et services sociaux et médico-sociaux
  • Arrêté du 17 avril 2013 (n° NOR AFSA1310457A) portant reconnaissance de correspondance partielle entre le référentiel de certification de services constitué de la norme NF X 50-058 et des règles de certification NF 386 pour les Ehpa de la société par actions simplifiée Afnor Certification et le cahier des charges pour la réalisation des évaluations externes prévu à l’annexe 3-10 du CASF (paru au Journal officiel le 25 avril 2013)
  • Arrêté du 17 avril 2013 (n° NOR AFSA1310295A) portant reconnaissance de correspondance partielle entre le référentiel de certification de services Qualicert RE/UPA/04 pour les Ehpad de la société SGS International Certification Services et le cahier des charges pour la réalisation des évaluations externes prévu à l’annexe 3-10 du CASF (paru au JO le 25 avril 2013)

Bibliographie

SAVIGNAT Pierre, Conduire l’évaluation externe dans les établissements sociaux et médico-sociaux, Dunod, 2010, 220 pages

Sites Internet

Site de l’Anesm : www.anesm.sante.gouv.fr :

Glossaire

Anesm

Agence nationale de l’évaluation et de la qualité des établissements sociaux et médico-sociaux

ESSMS

Établissements et services sociaux et médico-sociaux

RBPP

Recommandations de bonnes pratiques professionnelles

Publié le 28/10/2024

Retrouvez toute l'actualité sur "Contrôler les étapes de l’évaluation externe et bien choisir son cabinet"