Livello dell'indicatore
Formulazione dell'indicatore
Scopo dell'indicatore
Come raccogliere e analizzare i dati richiesti
Determinare il valore dell’indicatore utilizzando la seguente metodologia:
1) Insieme ai principali partner del progetto e alle altre parti interessate, discutere e concordare criteri e definizioni chiari per gli indicatori.
Definire cosa si intende per “altri partner” in base al contesto del progetto. Tra questi possono figurare gruppi non formali sostenuti dal progetto, reti, organizzazioni comunitarie di base (CBO), attori del settore privato, organismi di ricerca e gruppi comunitari.
Specificare gli argomenti o le tematiche oggetto delle iniziative di sensibilizzazione delle organizzazioni della società civile (CSO) e dei partner.
Precisare quali fasi del ciclo normativo saranno oggetto di valutazione, quali ad esempio la definizione dell’agenda, la stesura, la consultazione, l’adozione e l’attuazione.
Definisci cosa si intende per “contributo” nel tuo contesto. Prendi in considerazione i seguenti suggerimenti:
Fornire ricerche, dati o contributi tecnici utilizzati nell'elaborazione delle politiche
Organizzare o coordinare consultazioni o dialoghi che abbiano contribuito a definire l'orientamento delle politiche
Promuovere l'inclusione di tematiche, gruppi o approcci specifici
La creazione di coalizioni o reti che hanno influenzato il processo decisionale politico
Supportare l'attuazione o il monitoraggio di politiche nuove o riviste
2) Stabilire il periodo di riferimento per il quale si raccoglieranno le prove dei contributi delle organizzazioni della società civile (CSO) e dei partner al cambiamento delle politiche. In genere , si valuta l’evoluzione nell’ambito dell’anno di riferimento o del periodo di progetto in corso (ad esempio, gli ultimi 12 mesi).
3) Sviluppare uno strumento per registrare le prove del contributo delle organizzazioni della società civile (OSC) e dei partner al cambiamento delle politiche. Preparare uno strumento semplice (tabella o lista di controllo) per documentare ogni processo politico in cui le OSC e i partner sono stati coinvolti secondo i criteri predefiniti (fase 1). Lo strumento può registrare, ad esempio, le seguenti informazioni per ogni caso osservato di contributo delle OSC e dei partner al cambiamento delle politiche:
posizione
periodo / data
CSO / partner
tipo di polizza / questione
fase del processo politico (definizione dell'agenda, elaborazione, consultazione, adozione, attuazione)
tipo di contributo (ad esempio: attività di sensibilizzazione, supporto tecnico, facilitazione del dialogo, ecc.)
descrizione del ruolo dell'organizzazione della società civile (CSO) / del partner e dell'entità del loro contributo
importanza del cambiamento
fonte di verifica / prova
contributo al progetto
contributo esterno
4) Raccogliere prove utilizzando due o più dei metodi suggeriti:
Analisi di documenti e materiale mediatico: esaminare bozze di politiche, relazioni di consultazione, documenti di posizione, articoli di stampa e dichiarazioni ufficiali che fanno riferimento ai contributi delle organizzazioni della società civile (CSO) e dei partner.
Interviste con informatori chiave: intervistare i responsabili politici, i leader delle organizzazioni della società civile e i partner per comprendere il contributo e l’influenza di ciascun attore.
Discussioni in focus group o workshop di riflessione: facilitare discussioni partecipative tra le organizzazioni della società civile e i partner per valutare e confermare la portata del loro contributo collettivo.
5) Registrare le informazioni raccolte e verificate nello strumento/database sviluppato (fase 3).
6) Sviluppare una serie di criteri e standard chiari per valutare l’entità del contributo delle OSC e dei partner. Un’opzione è quella di utilizzare le rubriche (ulteriori indicazioni nelle risorse riportate di seguito) – uno strumento di valutazione strutturato che utilizza livelli descrittivi per giudicare il livello di prestazione raggiunto. Le rubriche forniscono criteri narrativi chiari per ciascun livello, consentendo agli utenti di classificare i progressi in modo coerente, sistematico e comparabile. La griglia di valutazione in questo caso dovrebbe descrivere in che misura e in modo sostanzialmente le OSC/i partner abbiano influenzato i risultati delle politiche in ciascuna fase del ciclo politico. Gli utenti dovrebbero sempre formulare le proprie griglie di valutazione specifiche per il progetto sin dall’inizio, in linea con i risultati della valutazione iniziale. Idealmente, la formulazione dovrebbe avvenire durante un workshop congiunto con i partner del progetto. Un esempio illustrativo di una semplice scala di valutazione e della descrizione di ciascun livello può essere:
Nessuna (=0) – Le organizzazioni della società civile (OSC) e i partner non partecipano ai processi politici.
Minimo (=1) – Le organizzazioni della società civile (OSC) e i partner erano a conoscenza dei processi politici o vi erano stati invitati, ma hanno svolto un ruolo limitato o di semplice osservazione.
Emergente (=2) – Le organizzazioni della società civile (OSC) e i partner hanno fornito spunti o dati, ma il loro contributo ha avuto un’influenza visibile limitata sull’esito delle politiche.
Moderato (=3) – Le organizzazioni della società civile (OSC) e i partner hanno fornito contributi significativi che hanno influenzato alcune parti della definizione delle politiche o della progettazione dei processi.
Significativo (=4) – Le organizzazioni della società civile (OSC) e i partner hanno esercitato un’influenza sostanziale sul contenuto delle politiche, sulla loro definizione o sui piani di attuazione.
Trasformativo (=5) – Le organizzazioni della società civile (OSC) e i partner hanno elaborato congiuntamente politiche o istituzionalizzato meccanismi di partecipazione finalizzati allo sviluppo continuo delle politiche.
Nel definire i livelli della rubrica, potete anche avvalervi di espressioni relative agli indicatori di progresso (ulteriori indicazioni sono disponibili nelle risorse riportate di seguito), quali “Ci si aspetta di vedere”, “Sarebbe auspicabile vedere” e “Sarebbe ottimo vedere”. Potreste inoltre definire un indicatore di progresso del tipo “Non sarebbe auspicabile vedere” per individuare i cambiamenti negativi, nonché un indicatore del tipo “È necessario vedere” per segnalare i risultati necessari affinché l’esito si verifichi.
7) Valutare il raggiungimento dell’indicatore: utilizzare le informazioni raccolte e registrate nello strumento/database sviluppato (fase 3) per assegnare un livello – minimo, emergente, moderato, significativo, trasformativo – a ciascun processo politico, tema politico o località valutati, a seconda di quanto rilevante per il vostro progetto. Per determinare il livello appropriato, coinvolgete uno o più esperti oppure – se desiderate promuovere la partecipazione e rafforzare il senso di appartenenza – organizzate uno o più workshop partecipativi (ad esempio con le organizzazioni della società civile e altri partner).
L'uso di un punteggio numerico (ad esempio da 1 a 5, come suggerito al punto 6) al posto dei nomi dei livelli può facilitare i confronti.
Se lo si desidera, è possibile aggregare i risultati per mostrare quanti processi o argomenti relativi alle politiche rientrano in ciascun livello.
Si consiglia di rivolgersi a un esperto o a un valutatore esterno per confermare/convalidare i risultati durante la fase di valutazione del progetto.
8) Relazione sull’indicatore. Fornire una descrizione narrativa del raggiungimento dell’indicatore utilizzando le prove raccolte e il livello assegnato nella griglia di valutazione (fase 7), nonché eventuali verbali o documentazione relativi ai workshop di valutazione partecipativa, se disponibili. Descrivere i cambiamenti o gli sviluppi politici individuati, spiegare la portata dei contributi delle OSC e dei partner e delineare i percorsi attraverso i quali la loro attività di advocacy, il loro impegno o il loro dialogo hanno influenzato il processo politico. Nella relazione, combinare le informazioni quantitative disponibili – numero di processi politici valutati – con un’interpretazione qualitativa che spieghi la portata dei contributi osservati. Utilizzare i risultati della griglia di valutazione per sintetizzare i modelli generali o i cambiamenti nella portata del contributo delle OSC e dei partner.
Disaggregare per
Riferire e interpretare i risultati tenendo conto dei fattori contestuali rilevanti, quali il tipo di processo politico o di tema politico, il livello di governo (locale, regionale, nazionale) e il tipo di attori coinvolti (organizzazioni della società civile, settore privato, mondo accademico, reti), nella misura in cui ciò sia fattibile e opportuno.
Note importanti
1) Utilizzate questo indicatore se desiderate concentrarvi sulla portata, e non solo sulla presenza, del contributo. Utilizzate criteri qualitativi chiari (ad esempio, griglie di valutazione) per descrivere quanto sia stato influente o profondo il coinvolgimento delle organizzazioni della società civile (OSC) e dei partner, piuttosto che limitarvi a verificare se tale coinvolgimento abbia effettivamente avuto luogo.
2) Valutare l’utilizzo della metodologia “Outcome Harvesting” per valutare e verificare i contributi delle OSC e dei partner al cambiamento delle politiche. L’Outcome Harvesting è particolarmente adatto a questo indicatore, poiché aiuta a identificare, descrivere e convalidare in modo sistematico casi concreti in cui le azioni delle OSC o dei partner hanno influenzato il contenuto o i processi delle politiche. Si raccomanda di avvalersi delle linee guida sulla metodologia Outcome Harvesting fornite nei documenti riportati di seguito. Per ogni “risultato raccolto”, documentare:
Cosa è cambiato? (contenuto o procedura della politica)
Chi l'ha modificato? (quale istituzione o quale responsabile delle decisioni)
Come si è verificato il cambiamento? (sensibilizzazione, dati concreti, coordinamento)
Quanto è stato significativo questo cambiamento?
In che modo il progetto ha contribuito? (ad es. facilitazione, rafforzamento delle capacità)
3) Per monitorare i progressi nel tempo, applicare la griglia di valutazione all’inizio del progetto e nuovamente nei momenti previsti per la rendicontazione (ad esempio, annualmente e/o alla conclusione del progetto) per valutare se il livello di contributo delle organizzazioni della società civile (CSO) e dei partner subisca variazioni nel tempo – ad esempio, passando da “emergente” a “significativo”.
4) Interpretare i risultati e i punteggi nel contesto politico, istituzionale e normativo. Ad esempio, un’organizzazione della società civile locale che influisce su una piccola linea guida comunale può essere significativa quanto una coalizione nazionale che definisce gli elementi di una politica settoriale di ampio respiro. Nell’assegnare un punteggio, incoraggiare i partner a spiegare quali misure sarebbero necessarie per raggiungere il livello successivo di progresso nel periodo successivo, riflettendo sulle condizioni favorevoli – apertura del governo, capacità delle reti, tempistica, sostegno dei donatori – nonché sugli ostacoli che potrebbero dover essere affrontati. Ciò contribuisce a evitare confronti inappropriati tra contesti diversi e fornisce una visione approfondita dello spazio politico in cui operano le OSC e i partner.
5) Dato che lo spazio civico è composto da numerosi attori, esamina in che modo le attività del progetto possano aver influenzato l’entità dei contributi delle organizzazioni della società civile (OSC) e dei partner allo sviluppo delle politiche. Ciò ti aiuterà a comprendere il tuo contributo in modo più approfondito . Determina se i cambiamenti osservati possano essere ricondotti al sostegno fornito dal progetto (ad esempio: rafforzamento delle capacità, coordinamento, facilitazione di spazi di dialogo, finanziamenti, produzione di dati, iniziative di networking). Nel valutare il contributo, verifica se (a) le attività del progetto siano in linea con i risultati, (b) le parti interessate confermino l’influenza del progetto e (c) se esista una spiegazione alternativa più convincente. Documenta i percorsi di contributo utilizzando interviste, sessioni di riflessione o l’Outcome Harvesting per comprendere in che modo il progetto abbia contribuito a rafforzare il coinvolgimento delle OSC nel processo politico.
6) Se le risorse lo consentono, prendere in considerazione anche i fattori alternativi o esterni che contribuiscono al cambiamento. Questi possono essere valutati ponendo domande quali:
In che modo il contesto politico ha influenzato questo cambiamento/risultato, in senso positivo o negativo?
In che modo la collaborazione con altri attori ha influito sul raggiungimento di questo cambiamento/risultato? Quali attori sono stati coinvolti e in che modo il loro coinvolgimento ha favorito o ostacolato i progressi?
7) Se il vostro progetto mira a rafforzare la partecipazione e il senso di appartenenza dei principali soggetti interessati, coinvolgeteli nella definizione della metodologia degli indicatori e/o nella convalida dei risultati degli indicatori. Coinvolgete i rappresentanti delle organizzazioni della società civile (OSC), dei partner e/o del governo nell’elaborazione dei criteri di valutazione, nella revisione dei livelli assegnati e dei punteggi numerici, e nella discussione della loro visione condivisa dei livelli di contributo.
8) Se il vostro progetto presenta una forte componente di uguaglianza di genere e inclusione sociale, valutate se i gruppi emarginati o sottorappresentati (ad esempio donne, giovani, persone con disabilità, minoranze etniche) siano coinvolti nelle attività di advocacy, nel coinvolgimento delle parti interessate o nei processi di dialogo politico. Verificate se le loro prospettive trovino riscontro nelle proposte o nelle bozze di politiche e se essi traggano beneficio dai cambiamenti politici che ne derivano. Documenta gli ostacoli che questi gruppi devono affrontare nel contribuire allo sviluppo delle politiche o nell’influenzarlo e utilizza queste informazioni per raccomandare modalità volte a rendere i processi di advocacy e di dialogo politico più inclusivi ed equi.
9) Se l’uso delle rubriche richiede un impiego eccessivo di risorse o se non è possibile raccogliere dati sufficienti per giustificare in modo affidabile i punteggi (ad esempio a causa delle dimensioni del progetto o di vincoli legati al coordinamento tra i partner), si consiglia di semplificare l’approccio. È possibile utilizzare l’Outcome Harvesting in modo indipendente, senza ricorrere alla valutazione tramite rubriche, per documentare e verificare i risultati in modo qualitativo, basato sui risultati e fondato su dati concreti. Si può anche optare per un indicatore quantitativo più semplice, come il «Numero di politiche governative a livello [locale / provinciale / nazionale] elaborate o riviste con la partecipazione attiva delle OSC», che si concentra sul conteggio dei casi verificati di coinvolgimento politico piuttosto che sulla valutazione della profondità dell’influenza. Queste alternative riducono l’onere della misurazione pur continuando a cogliere un coinvolgimento significativo delle OSC.
10) Per i progetti finanziati dall’UE, prendere invece in considerazione il seguente indicatore OPSYS (ulteriori opzioni sono disponibili su Indicatori predefiniti per la progettazione e il monitoraggio degli interventi finanziati dall’UE ): Misura in cui l’intervento finanziato dall’UE ha sostenuto un’efficace attività di advocacy da parte della società civile volta a promuovere l’espansione del sistema di protezione sociale (indicatore chiave OPSYS).
11) Prendere in considerazione altri indicatori relativi alle attività di sensibilizzazione dell’IndiKit :
Accedi a ulteriori indicazioni
- Valutazione migliore - Raccolta dei risultati
- INTRAC (2017) Outcome Harvesting (.pdf)
- Outcome Harvesting
- Utilizzo delle rubriche
- INTRAC (2024) Mappatura dei risultati (.pdf)