Livello dell'indicatore
Formulazione dell'indicatore
Scopo dell'indicatore
Come raccogliere e analizzare i dati richiesti
Determinare il valore dell'indicatore utilizzando la seguente metodologia:
1)Stabilire definizioni chiare degli indicatori.
Definire il termine “giovani” in base ai criteri del progetto o a quelli nazionali.
Definire il gruppo target (ad esempio, giovani che partecipano a iniziative di educazione civica, formazione, tutoraggio o dialogo comunitario).
Definire le “conoscenze” chiave che il progetto intende rafforzare, ad esempio strutture e ruoli, processi, opportunità di partecipazione e meccanismi di responsabilità. Queste dovrebbero corrispondere agli obiettivi di apprendimento dell’intervento ed essere chiaramente definite prima della raccolta dei dati.
2) Elaborare un approccio di misurazione adeguato per valutare l’evoluzione delle conoscenze. Ciò richiede di misurare la differenza tra la situazione di riferimento (prima dell’attività di rafforzamento delle conoscenze) e la situazione post-intervento (dopo l’attività). Le opzioni più comuni includono:
Test standardizzato di verifica delle conoscenze: somministrare lo stesso test o un test equivalente prima e dopo l’intervento e confrontare i punteggi.
Autovalutazione: chiedere ai partecipanti di valutare il proprio livello di conoscenza prima e dopo l’intervento utilizzando una scala standard (ad es. 1 = molto basso, 5 = molto alto).
Valutazione da parte del supervisore o del formatore: in alcuni casi, un formatore o un supervisore può valutare le conoscenze di ciascun partecipante all’inizio del percorso e in una fase successiva, per determinare il livello di miglioramento raggiunto.
Ove possibile, ricorrere a valutazioni oggettive delle conoscenze prima e dopo il corso. Le autovalutazioni o le valutazioni da parte del formatore rappresentano alternative accettabili nei contesti in cui non è possibile effettuare test, ma dovrebbero essere corroborate da una verifica tra pari o da controlli qualitativi.
3)Stabilire una soglia minima di miglioramento che definisca il concetto di “maggiore conoscenza”. Esempi:
Un livello minimo richiesto di conoscenza o una percentuale minima di miglioramento tra i punteggi ottenuti nel test iniziale e in quello finale (ad esempio, un aumento di almeno il 20%), da stabilire tenendo conto del livello di partenza.
Un aumento di almeno un punto su una scala di autovalutazione a 5 punti.
Evita di fissare requisiti irrealisticamente elevati o inutilmente bassi, verificando il livello di difficoltà del test medianteuna prova preliminarecon almeno 10 persone.
4)Raccogliere i dati pre-intervento dall’intera popolazione target o da un campione rappresentativo, a seconda dei casi.
5)Raccogliere i dati post-intervento. Ripetere la raccolta dei dati, idealmente immediatamente dopo l’intervento e, se possibile, nuovamente in una fase successiva per valutare la ritenzione. Assicurarsi che gli intervistati abbiano avuto tempo sufficiente per interiorizzare o applicare quanto appreso. Gli stessi soggetti devono essere valutati in tutti i punti di misurazione per consentire un confronto a livello individuale tra i risultati pre- e post-intervento.
6)Valutare i risultati a livello dei partecipanti. Calcolare quanti giovani partecipanti hanno raggiunto la soglia minima richiesta per l’aumento delle conoscenze definita nella fase 3.
7) Per calcolare il valore dell’indicatore, dividere il numero di giovani che soddisfano la soglia definita di maggiore conoscenza per il numero totale di giovani valutati. Moltiplicare il risultato per 100 per convertirlo in percentuale.
Disaggregare per
I dati possono essere disaggregati per genere, fascia d’età, area geografica e/o altre caratteristiche socioeconomiche rilevanti, a seconda del contesto, dell’obiettivo e delle risorse del proprio progetto.
Note importanti
1) Quando si effettua un'indagine su un campione anziché sull'intera popolazione target, assicurarsi che esso sia sufficientemente ampio da tenere conto dell'attrito alla fase finale, poiché non tutti gli intervistati della fase iniziale potrebbero essere disponibili in quella fase. Ciò contribuisce a garantire che la valutazione post-intervento rimanga rappresentativa (la dimensione del campione rimane sufficientemente ampia) e consente di raccogliere dati dagli stessi intervistati sia nella fase iniziale che in quella finale.
2)Raccogli semprei risultati sia prima che dopo l’intervento, altrimenti non potrai sapere in che misura gli intervistati abbiano migliorato (o meno) le proprie conoscenze. Adegua gli strumenti di valutazione per garantire coerenza nel monitoraggio dei progressi.
3) Se il vostro progetto mira a valutare se la popolazione target abbia raggiunto un determinato livello di conoscenze e/o competenze – piuttosto che se tali conoscenze e competenze siano migliorate nel tempo – utilizzate invece l’indicatore “percentuale di giovani in possesso delle conoscenze desiderate sulle strutture di governance locale e sui processi decisionali ”. Il vantaggio di questo approccio è che non è necessario raccogliere dati di riferimento e di follow-up dagli stessi intervistati.
4) Assicurarsi che gli strumenti di valutazione siano adeguati al contesto, facilmente comprensibili dai giovani e che la loro affidabilità sia stata verificata in fase di test preliminare.
5)Se si ricorre alle autovalutazioni, è opportuno convalidarle con una verifica esterna per ridurre il rischio di parzialità. Chiedete ai formatori o ai colleghi di verificare se i partecipanti siano in grado di dimostrare le conoscenze che hanno autovalutato. Questa fase di verifica garantisce che i risultati riflettano l’apprendimento effettivo piuttosto che percezioni soggettive.
6)Decidere se l’indicatore misurerà l’effetto immediato di una singola attività formativa, ad esempio una sessione di formazione o un evento di sensibilizzazione, oppure l’effetto cumulativo di un processo di apprendimento più lungo, che potrebbe consistere in una serie di corsi di formazione, attività di mentoring o iniziative di educazione civica continuativa. Ciò determinerà la tempistica della raccolta dei dati e il modo in cui verranno interpretati i cambiamenti nelle conoscenze dei giovani. Ove possibile, valutare la possibilità di condurre la valutazione post-formazione due volte. Idealmente, ciò dovrebbe avvenire immediatamente dopo l’attività formativa per rilevare l’apprendimento a breve termine e nuovamente 1–2 mesi dopo per valutare la ritenzione delle conoscenze e il loro potenziale utilizzo. Le valutazioni possono anche essere integrate nelle indagini di riferimento e finali per misurare il cambiamento complessivo piuttosto che gli effetti di una singola attività.
7) Sulla base dell’analisi dell’accessibilità e di genere , valutare se siano necessarie misure aggiuntive per garantire una valutazione equa e accurata per tutti i giovani intervistati e, ove necessario, attuarle. Queste possono includere l’offerta di diversi formati di raccolta dati (scritti, orali o digitali) per venire incontro a diverse capacità; la garanzia che le sedi di valutazione siano prive di barriere architettoniche; la concessione di orari flessibili per i giovani che ne hanno bisogno; l’autorizzazione all’uso di applicazioni o programmi di supporto; e la fornitura di materiali di supporto quali testi a caratteri grandi o ausili visivi. Utilizzate un linguaggio e esempi neutri dal punto di vista del genere in tutte le domande e disaggregate e interpretate i risultati per genere per identificare se le ragazze/giovani donne, i ragazzi/giovani uomini o i giovani non binari sperimentino risultati di apprendimento o ostacoli diversi.
8) Se del caso, valuta la possibilità di chiedere agli intervistati dove abbiano acquisito le conoscenze o le competenze. Ciò potrebbe aiutarti a comprendere il contributo del tuo intervento.
9) Se possibile, inserire delle domande per raccogliere feedback sull’utilità e la pertinenza delle attività di rafforzamento delle capacità. Utilizzare i risultati per migliorare gli interventi.
10) Per rafforzare l’apprendimento e la responsabilità, condividere i risultati delle valutazioni con i giovani partecipanti, ove possibile e opportuno , e utilizzarli per perfezionare le future iniziative di sviluppo delle capacità.