Rappel
L’évaluation externe commence à la signature du contrat de prestation entre le commanditaire et l’organisme sélectionné et s’achève avec la remise du rapport d’évaluation externe.
Le chapitre IV de l’annexe 3-10 du décret n° 2007-975, précise les étapes de l’évaluation. Il comporte trois sections, chacune d’elle est consacrée à une étape de l’évaluation externe que la présente fiche va décrire. La première étape, consacrée à l’observation et la description doit aboutir à la construction du cadre de référence de l’évaluation. La deuxième étape doit aboutir à la mise en forme des informations. La troisième étape doit aboutir à une synthèse. Et par ailleurs, comment assurer le bon déroulement de l’évaluation externe ?
Le décret n° 2007-975 annexe 3-10, chapitre IV, section 1, article 1.1, dispose que la première étape de la procédure d’évaluation externe – donc après le choix de l’organisme habilité – doit aboutir à la formalisation du projet évaluatif.
Le projet évaluatif : un document partagé
Le projet évaluatif est construit à partir :
- des éléments communiqués par le commanditaire dans le document de mise en concurrence et des documents complémentaires, remis à l’organisme retenu, ou consultés sur place lors d’une première rencontre ;
- des échanges avec le commanditaire et l’organisme d’évaluation. Le projet évaluatif peut aussi se construire avec le comité de suivi de l’évaluation constituée en interne puisqu’il doit s’adapter à la spécificité de la structure.
Toutes les composantes du projet évaluatif doivent être validées par le commanditaire.
Le projet évaluatif : un document spécifique à l’établissement évalué
Le projet évaluatif se compose de deux parties : le cadre de référence spécifique à la structure et le questionnement évaluatif.
La construction du cadre de référence propre à la structure est construite pour l’établissement, par l’évaluateur. Il est une synthèse des documents remis et comporte :
- un volet commun à toutes les structures œuvrant dans le même champ que l’établissement évalué. Il retrace le positionnement de la structure par rapport à la législation et à la réglementation ;
- un volet propre : le rappel des orientations définies par les autorités compétentes sur le champ observé, c’est-à-dire le positionnement de la structure par rapport aux plans, aux schémas, et aux recommandations de bonnes pratiques professionnelles validées par l’Anesm. Ce volet propre à la structure décrit la stratégie, les objectifs de l’établissement et les missions confiées sur un territoire géographique donné, dans le cadre des procédures d’autorisation.
Dans cette partie, le commanditaire et l’évaluateur vont décliner les missions de l’établissement par référence au projet d’établissement. Chaque déclinaison sera validée par le commanditaire.
Le cadre de référence spécifique de l’évaluation ainsi défini doit également être validé par le commanditaire de l’évaluation.
La validation peut avoir lieu notamment après échange avec une instance interne d’évaluation (cf. Réaliser l’évaluation externe).
L’élaboration du questionnement évaluatif : cette phase aboutit à la formulation de questions évaluatives hiérarchisées et adaptées à la logique de chaque établissement.
L’évaluateur doit aider l’établissement à la formalisation de chacun des points précédemment évoqués. Le questionnement évaluatif va guider le processus de recueil de l’information nécessaire pour l’évaluation externe et intégrer les objectifs de l’évaluation externe énoncés au chapitre II de l’annexe 10-3 du décret n° 2007-975 qui pour mémoire sont :
- porter une appréciation globale ;
- examiner les suites réservées aux résultats issus de l’évaluation interne ;
- examiner certaines thématiques et des registres spécifiques ;
- élaborer des propositions et/ou préconisations.
Le projet évaluatif de l’évaluation ainsi défini doit être validé par le commanditaire. La validation peut avoir lieu, notamment après échange avec une instance interne d’évaluation.
Le cadre de référence va constituer une synthèse des documents remis et l’analyse fournie par l’évaluateur va confronter le cadre de référence spécifique à la situation observée.
L’observation réalisée par l’organisme d’évaluation s’appuie sur une analyse des pratiques collectives, définies comme l’ensemble des manières de faire, de dire et d’agir des professionnels. Elle ne doit pas être une évaluation de la pratique individuelle. L’observation porte sur les prestations et les activités, qui sont un ensemble d’actions et interventions organisées autour d’un ou plusieurs objectifs.
L’évaluateur doit pouvoir disposer des informations quantitatives et qualitatives disponibles (cf. Préparer les documents nécessaires pour l’évaluateur).
L’organisme d’évaluation programme des visites et entretiens individuels ou collectifs ; il peut animer des réunions. Ces auditions concernent l’ensemble des professionnels, y compris ceux de nuit, les stagiaires, les usagers et leurs proches. Enfin, les informations collectées sont validées par les personnes concernées.
