Maggiore conoscenza / competenze

Risultato

numero o percentuale di [specificare il gruppo target] con maggiori conoscenze e/o competenze in [specificare l'argomento]

Questo indicatore misura in che misura i partecipanti al progetto (ad esempio, attori della società civile, rappresentanti delle istituzioni, studenti e altre parti interessate) abbiano acquisito conoscenze o competenze grazie alle attività di apprendimento e di trasferimento di competenze sostenute dal progetto, quali formazione, workshop, dimostrazioni, tutoraggio, coaching, sessioni di sensibilizzazione o altre attività di rafforzamento delle capacità. Si concentra sul fatto che i partecipanti abbiano migliorato la propria comprensione e/o le proprie capacità pratiche in una o più aree tematiche specifiche oggetto dell’intervento.

Determinare il valore dell'indicatore utilizzando la seguente metodologia:

 

1)Definire le aree chiave di conoscenza e/o competenza che il progetto intende rafforzare. Queste dovrebbero corrispondere agli obiettivi di apprendimento dell’intervento ed essere chiaramente definite prima della raccolta dei dati. Assicurarsi che il team applichi in modo coerente la distinzione tra conoscenza (migliore comprensione o consapevolezza di concetti, politiche o procedure) e competenza (la capacità di applicare efficacemente tali conoscenze).

2)Elaborare un approccio di misurazione adeguato, tenendo conto del pubblico di riferimento, per valutare l’evoluzione delle conoscenze e/o delle competenze. Ciò richiede solitamente di misurare la differenza tra la situazione di partenza (prima dell’intervento) e quella successiva all’intervento (dopo l’intervento). Le opzioni più comuni includono:

• Test standardizzato di conoscenze e/o competenze: somministrare lo stesso test o un test equivalente prima e dopo l’intervento e confrontare i punteggi dei singoli partecipanti.

• Autovalutazione: chiedere ai partecipanti di valutare il proprio livello di conoscenza e/o competenza relativo a ciascuna delle aree oggetto di valutazione prima e dopo l’intervento, utilizzando una scala standard (ad esempio, 1 = molto basso, 5 = molto alto).

• Osservazione o valutazione pratica delle prestazioni: osservare direttamente i partecipanti mentre svolgono compiti pertinenti o dimostrano competenze in contesti reali o simulati e registrare il livello di prestazione raggiunto utilizzando un modulo di osservazione strutturato.

Se l’indicatore comprende competenze, è necessario utilizzare almeno un metodo che ne valuti l’applicazione pratica. Può trattarsi di osservazione diretta, attività pratiche o indicatori sostitutivi basati su prove concrete che valutino il lavoro svolto (ad esempio, la valutazione dei risultati del lavoro utilizzando criteri di qualità predefiniti, la valutazione strutturata dell’esecuzione dei compiti da parte di un formatore o di un mentore sulla base dell’applicazione osservata, oppure simulazioni basate su compiti valutate in base a standard chiari).

3)Stabilire una soglia minima di miglioramento che definisca il concetto di “maggiore conoscenza e/o competenza”. Esempi:

• Una percentuale minima di miglioramento tra i punteggi ottenuti nel test preliminare e in quello finale (ad esempio, un aumento di almeno il 20%).

• Un aumento di almeno un punto su una scala di autovalutazione a 5 punti.

• Miglioramento comprovato nelle prestazioni lavorative secondo criteri prestabiliti.

Evita di fissare requisiti irrealisticamente elevati o inutilmente bassi, verificando il livello di difficoltà del metodo di valutazione medianteun test preliminarecondotto su almeno 10 persone.

4)Raccogliere i dati pre-intervento dall’intera popolazione target o da un campione rappresentativo, a seconda dei casi.

5)Raccogliere i dati post-intervento. Ripetere la raccolta dei dati, idealmente immediatamente dopo l’intervento e, se possibile, nuovamente in una fase successiva per valutare la ritenzione. Assicurarsi che gli intervistati abbiano avuto tempo sufficiente per interiorizzare o applicare quanto appreso. Gli stessi soggetti devono essere valutati in tutti i punti di misurazione per consentire un confronto a livello individuale tra i risultati pre- e post-intervento.

6)Valutare i risultati a livello dei partecipanti. Calcolare quanti partecipanti hanno raggiunto la soglia minima richiesta per l’incremento delle conoscenze e/o delle competenze definita nella fase 3.

7) Per calcolare il valore dell’indicatore, dividere il numero di partecipanti che soddisfano la soglia definita di aumento delle conoscenze/competenze per il numero totale dei partecipanti valutati. Moltiplicare il risultato per 100 per convertirlo in percentuale.

I dati possono essere disaggregati per genere, fascia d’età, area geografica e/o altre caratteristiche rilevanti (ad esempio, tipo di formazione o argomento, organizzazioni destinatarie), a seconda del contesto e dell’obiettivo del vostro progetto.

1) Quando si effettua un'indagine su un campione anziché sull'intera popolazione target, assicurarsi che esso sia sufficientemente ampio da tenere conto dell'attrito alla fase finale, poiché non tutti gli intervistati della fase iniziale potrebbero essere disponibili in quella fase. Ciò contribuisce a garantire che la valutazione post-intervento rimanga rappresentativa (la dimensione del campione rimane sufficientemente ampia) e consente di raccogliere dati dagli stessi intervistati sia nella fase iniziale che in quella finale.

2) Se si intende valutare sia le conoscenze che le competenze, affidarsi esclusivamente ai test preliminari e finali potrebbe rivelarsi insufficiente. Potrebbero essere necessari metodi aggiuntivi, quali l’osservazione o le valutazioni pratiche delle prestazioni, per misurare adeguatamente il miglioramento delle competenze.

3) Le fasi metodologiche sopra descritte raccomandanodi raccogliere dati sia prima che dopo l’intervento per valutare in che misura gli intervistati abbiano migliorato (o meno) le proprie conoscenze e/o competenze. Tuttavia, laddove la raccolta di dati di riferimento non sia fattibile o i test preliminari e finali risultino inadeguati per il gruppo target, è possibile ricorrere in alternativa a un questionario di valutazione basato sul ricordo. Tali questionari possono includere domande controfattuali o relative alla situazione di riferimento, ad esempio:

• In che misura diresti che il sostegno fornito da [ specificare l'organizzazione / l'attore] ha influenzato le tue conoscenze su [ specificare l'argomento]?

• Hai acquisito competenze e conoscenze che prima non possedevi?

È possibile utilizzare un punteggio complessivo ricavato da diverse domande di questo tipo per definire un “miglioramento delle conoscenze e/o delle competenze”. Un modulo di valutazione di questo tipo è utile anche per raccogliere feedback finalizzati al miglioramento degli interventi.

Gli approcci basati sul ricordo dovrebbero essere considerati come una soluzione di ripiego e utilizzati solo quando non è possibile raccogliere dati di riferimento, poiché il bias di ricordo e il bias di desiderabilità sociale possono gonfiare i risultati, in particolare nei contesti formativi finanziati da donatori. I risultati ottenuti con metodi basati sul ricordo dovrebbero quindi essere interpretati come un cambiamento percepito, non come un cambiamento misurato.

4) Se il vostro progetto mira a valutare se la popolazione target possiede un determinato livello di conoscenze e/o competenze – piuttosto che verificare se tali conoscenze e competenze siano migliorate nel tempo – utilizzate l’indicatore % di [specificare il gruppo target] in possesso delle conoscenze/competenze desiderate relative a [specificare l’argomento] . Il vantaggio di questo approccio è che non è necessario raccogliere dati di riferimento e di follow-up dagli stessi intervistati.

5) Decidere se misurare l’effetto diretto di un’attività una tantum (ad esempio una dimostrazione) o l’effetto di un processo di apprendimento più lungo (ad esempio una serie di diverse sessioni di formazione nell’arco di un certo periodo di tempo).

6)Se si ricorre alle autovalutazioni, è opportuno convalidarle con una verifica esterna per ridurre il rischio di parzialità. Chiedete ai formatori o ai colleghi di verificare se i partecipanti siano in grado di dimostrare le conoscenze o le competenze che hanno autovalutato. Questa fase di verifica garantisce che i risultati riflettano l’apprendimento effettivo piuttosto che percezioni soggettive.

7) Se possibile,condurre la “valutazione post-intervento” due volte: una volta subito dopo il completamento dell’attività di “rafforzamento delle capacità” (per rilevare l’apprendimento immediato); e poi, 1–2 mesi dopo (per rilevare le conoscenze e/o le competenze che le persone ricordano effettivamente e potrebbero utilizzare). Tuttavia,le valutazioni non devono necessariamente riferirsi a una singola attività(ad esempio, una formazione): possono essere effettuate durante le indagini iniziali e finali, per valutare il cambiamento complessivo nelle conoscenze e/o competenze specifiche della popolazione target.

8) Sulla base dell’analisi dell’accessibilità e di genere , valutare se siano necessarie misure aggiuntive per garantire una valutazione equa e accurata per tutti gli intervistati e, ove necessario, attuarle. Queste possono includere l’offerta di diversi formati di raccolta dati (scritti, orali o digitali) per venire incontro a diverse capacità; garantire che le sedi di valutazione siano prive di barriere architettoniche; consentire orari flessibili per i partecipanti che ne abbiano bisogno; permettere l’uso di applicazioni o programmi di supporto; e fornire materiali di supporto quali testi a caratteri grandi o ausili visivi. Utilizzate un linguaggio e esempi neutri dal punto di vista del genere in tutte le domande e disaggregate e interpretate i risultati per genere per individuare se le ragazze/giovani donne, i ragazzi/giovani uomini o i giovani non binari registrino risultati di apprendimento o incontrino ostacoli diversi.

9) Se del caso, valuta la possibilità di chiedere agli intervistati dove abbiano acquisito le conoscenze/competenze. Ciò potrebbe aiutarti a comprendere il contributo del tuo intervento.

10) Se possibile, inserire delle domande per raccogliere feedback sull’utilità e la pertinenza delle attività di rafforzamento delle capacità. Utilizzare i risultati per migliorare gli interventi.

11) Per rafforzare l’apprendimento e la responsabilità, condividere i risultati delle valutazioni con i partecipanti, ove possibile e opportuno, e utilizzarli per perfezionare le future iniziative di sviluppo delle capacità.