Livello dell'indicatore
Formulazione dell'indicatore
Scopo dell'indicatore
Come raccogliere e analizzare i dati richiesti
Determinare il valore dell'indicatore utilizzando la seguente metodologia:
1) Decidi come valuterai le competenze dei promotori. Ci sono due opzioni principali:
- Osservare i promotori mentre svolgono il loro lavoro e registrare ciò che fanno (o non fanno) in una checklist è il modo migliore per valutare le loro competenze e, in una certa misura, anche le loro conoscenze. La checklist dovrebbe concentrarsi sul verificare se i promotori seguono le modalità raccomandate per promuovere il comportamento e se ciò che dicono è tecnicamente corretto. Un esempio di tale lista di controllo è riportato alle pagine 119–120 della pubblicazione «Make Me a Change Agent» (vedi sotto). Si consiglia di limitare la lista di controllo a un numero ridotto (ad esempio 10) delle pratiche più importanti, in particolare quelle che spesso risultano problematiche.
- Il test teorico consente di valutare in che misura i promotori dispongano delle conoscenze necessarie per promuovere efficacemente i comportamenti desiderati. Tali test sono solitamente scritti, ma possono anche basarsi su un colloquio (tuttavia, ciò richiede un notevole impegno in termini di tempo da parte degli intervistatori). Essi tendono a valutare le conoscenze relative a:
1. i messaggi principali che i promotori dovrebbero trasmettere al pubblico di riferimento (e le conoscenze “tecniche” relative a tali messaggi)
2. il contenuto dei materiali SBC che i promotori dovrebbero utilizzare
3. i principi fondamentali di una comunicazione efficace nell’ambito della SBC / metodi di facilitazione
Si consiglia di utilizzare esclusivamente le osservazioni oppure di combinare queste ultime con una prova teorica. Si raccomanda di evitare di ricorrere esclusivamente alle prove teoriche, poiché queste non consentono di valutare le competenze effettive dei promotori.
Assicurati che le liste di controllo e i test siano realistici (non troppo ambiziosi). Dovrebbero concentrarsi su competenze e conoscenze misurabili. Prima di utilizzare la lista di controllo o il test, provali con alcuni promotori e assicurati che i valutatori abbiano ben chiaro come assegnare i punteggi a ciascuna voce in modo coerente.
Selezionare le competenze essenziali per le effettive responsabilità dei promotori, tenendo conto dei comportamenti che promuovono e del modo in cui interagiscono con il pubblico di riferimento.
2) Stabilire il livello minimo di rendimento che un promotore deve raggiungere per essere considerato “in grado di promuovere in modo efficace i comportamenti prioritari”. Ad esempio, seguire almeno 8 delle 10 pratiche osservate e ottenere un punteggio pari ad almeno il 70% nel test teorico.
Queste soglie sono solo esempi, non standard universali. Stabilite il livello minimo accettabile di prestazione in base all’importanza delle competenze valutate. Valutate la possibilità di individuare requisiti essenziali che devono essere sempre soddisfatti, anche quando il promotore raggiunge il punteggio minimo complessivo (ad esempio, fornire una consulenza tecnicamente corretta ed evitare raccomandazioni dannose). Se vengono utilizzate sia l’osservazione che una prova teorica, il promotore dovrebbe soddisfare i requisiti minimi per entrambe.
Durante le osservazioni, registrare le pratiche che non è stato ragionevolmente possibile valutare come “non valutate”, anziché considerarle automaticamente come fallimenti. Escludere tali voci dal punteggio complessivo della checklist, utilizzando una regola di valutazione definita in anticipo. Se non è stato possibile valutare competenze essenziali, organizzare un’altra osservazione prima di decidere se il promotore soddisfa lo standard. Definire inoltre il numero minimo di voci della checklist che devono essere valutate affinché il punteggio complessivo sia considerato valido. In caso contrario, un promotore potrebbe superare la valutazione sulla base di poche pratiche osservate.
3) Condurre le osservazioni / somministrare i test teorici su un campione rappresentativodi promotori. Innanzitutto, preparare un elenco aggiornato dei promotori le cui competenze l’indicatore dovrebbe misurare. Se il gruppo è piccolo, valutare tutti i promotori. Altrimenti, selezionare i promotori da questo elenco utilizzando un metodo che rappresenti adeguatamente i loro ruoli, le loro sedi e le loro condizioni di lavoro. Evitare di valutare solo coloro che sono più facili da osservare o che si offrono volontariamente di partecipare. Laddove i promotori abbiano responsabilità sostanzialmente diverse, utilizzare criteri di valutazione appropriati e valutare la possibilità di riportare i loro risultati separatamente.
Si raccomanda vivamente di effettuare le osservazioni e le prove durante l’intero svolgimento del progetto, nell’ambito del sistema di monitoraggio di routine. Questo approccio presenta diversi vantaggi:
- Innanzitutto, permette di risparmiare tempo. Effettuare osservazioni e test richiede molto tempo e cercare di svolgerli tutti in una volta (ad esempio durante un’indagine finale) potrebbe rivelarsi troppo impegnativo.
- Successivamente, i risultati delle osservazioni e delle verifiche possono essere utilizzati per fornire ai promotori il supporto necessario per colmare eventuali carenze individuate (ad esempio, formazione aggiuntiva incentrata sulle lacune principali). Per disporre del tempo necessario a colmare tali carenze, queste devono essere individuate nel corso del progetto, non al suo termine.
Definire in anticipo il periodo di riferimento e conteggiare ciascun promotore una sola volta nel calcolo dell’indicatore. Se un promotore viene valutato più volte nel corso di tale periodo, applicare una regola coerente, ad esempio quella della valutazione valida più recente. Non considerare le singole osservazioni come promotori distinti. Quando si confrontano i risultati tra periodi diversi, utilizzare gli stessi criteri di valutazione e le stesse regole di rendicontazione.
4) Utilizzando i criteri di rendimento definiti al punto 2, calcolare il numero di promotori che possono essere considerati “in grado di promuovere in modo efficace i comportamenti prioritari”.
5) Per calcolare il valore dell’indicatore, dividere il numero di promotori che possono essere considerati “in grado di promuovere in modo efficace i comportamenti prioritari” per il numero totale di promotori con una valutazione valida. Moltiplicare il risultato per 100 per convertirlo in percentuale.
Disaggregare per
Questi dati possono essere disaggregati in base al genere dei promotori, alla loro ubicazione e, se pertinente e fattibile, anche alla fascia d’età e agli anni di esperienza.
Note importanti
1) La pubblicazione “Elenco delle competenze degli operatori sanitari comunitari in materia di nutrizione, cambiamento sociale e comportamentale” (vedi sotto) può fornirvi ulteriori spunti sulle competenze che è possibile valutare utilizzando la checklist basata sulle osservazioni.
2) Tenete presente che i promotori potrebbero comportarsi in modo diverso quando sanno di essere osservati. Ove possibile, valutate il loro lavoro quotidiano piuttosto che una sessione appositamente preparata. Assicuratevi che gli osservatori forniscano un feedback costruttivo ai promotori. Ricordate che una singola osservazione positiva non dimostra necessariamente che il promotore ottenga risultati costantemente buoni.
3) Utilizzare i risultati per individuare le competenze che necessitano di ulteriore sostegno. Ove possibile, integrare i risultati dell’osservazione con il feedback fornito dai destinatari dei messaggi diffusi. Tale feedback può aiutare a individuare problemi di comunicazione che potrebbero non risultare evidenti dalla sola osservazione.
Indicatori trasversali rilevanti
Si consiglia inoltre di utilizzare i seguenti indicatori:
Comprensione da parte del personale dei principi alla base di un efficace cambiamento sociale e comportamentale (valuta se il personale del programma comprenda i principi necessari per sostenere interventi efficaci volti al cambiamento comportamentale)
Comprensione dei messaggi promozionali (misura se il pubblico di riferimento comprende correttamente ciò che gli viene suggerito di fare)
Prevalenza degli ostacoli al cambiamento (aiuta a identificare gli ostacoli che una comunicazione efficace da sola potrebbe non riuscire a superare)
Accedi a ulteriori indicazioni
- FSN Network e CORE Group (2015) "Make Me a Change Agent": una risorsa multisettoriale di SBC per operatori comunitari e personale sul campo (.pdf)
- USAID Progressi nel campo della nutrizione (2021) Elenco delle competenze degli operatori sanitari di comunità in materia di nutrizione, cambiamento sociale e comportamentale (.pdf)