- Oggetto:
- Oggetto:
VALUTAZIONE DELLE POLITICHE
- Oggetto:
POLICY EVALUATION
- Oggetto:
Anno accademico 2020/2021
- Codice dell'attività didattica
- CPS0671
- Docente
- Camilla Borgna (Titolare dell'insegnamento)
- Corso di studi
- Corso di laurea magistrale in Politiche e servizi sociali (Classe LM-87)
- Anno
- 1° anno
- Periodo didattico
- Primo semestre
- Tipologia
- Caratterizzante
- Crediti/Valenza
- 6
- SSD dell'attività didattica
- SPS/07 - sociologia generale
- Modalità di erogazione
- Tradizionale
- Lingua di insegnamento
- Italiano
- Modalità di frequenza
- Facoltativa
- Tipologia d'esame
- Scritto
- Oggetto:
Sommario insegnamento
- Oggetto:
Obiettivi formativi
L'insegnamento presenta i principali approcci e tecniche per la valutazione delle politiche, intesa come produzione sistematica di informazioni per dare giudizi empiricamente fondati su azioni pubbliche, con l’intento di migliorarle.
Una comprensione approfondita delle diverse logiche della ricerca valutativa, unitamente alla capacità di padroneggiarne le tecniche base, fa parte delle competenze fondamentali per coloro che si occuperanno della gestione, direzione, programmazione e coordinamento di servizi, figure professionali che il Corso di Laurea intende formare.
Più in generale, le competenze relative alla valutazione sono sempre più importanti sia nell’ambito della ricerca sociale applicata, sia per figure professionali come l’analista di politiche pubbliche o l’esperto/a nella programmazione di politiche e servizi sociali.
The course presents the main approaches and techniques for policy evaluation, meant as systematic production of information to make empirically grounded judgements on public actions, with the aim of improving them.
Understanding the different logics of evaluation research, together with the ability to deal with the most common techniques, is part of the fundamental skills for those who will work in the management, direction, programming, and coordination of services. This is in line with the formative aims of the degree course.
More generally, evaluation skills are very important in applied social science, and they are increasingly requested also in occupations such as policy analyst or expert in social policies and social work.
- Oggetto:
Risultati dell'apprendimento attesi
Al termine dell'insegnamento gli studenti e le studentesse saranno in grado di:
- Comprendere le diverse logiche della valutazione all’interno del ciclo delle politiche pubbliche (conoscenza e capacità di comprensione)
- Conoscere le tecniche essenziali, sia quantitative sia qualitative, alla base della ricerca valutativa (conoscenza e capacità di comprensione)
- Applicare la logica controfattuale alla valutazione delle politiche e dei servizi sociali e scegliere le strategie più appropriate per l’individuazione di un legame causa-effetto tra la realizzazione di un intervento e il verificarsi di cambiamenti attesi o inattesi (conoscenza e capacità di comprensione applicate)
- Interpretare in autonomia i risultati di ricerche empiriche, in particolare di tipo valutativo, e individuarne eventuali criticità legate al disegno della ricerca e all’analisi dei dati (autonomia di giudizio)
- Padroneggiare il lessico specifico proprio della metodologia delle scienze sociali, e in particolare della ricerca valutativa (abilità comunicative)
- Essere in grado di apprendere tecniche di ricerca valutativa più avanzate sulla base delle competenze sviluppate nel corso e tramite approfondimenti mirati (capacità di apprendimento)
By the end of the course, students are expected to:
- Understand the different logics of evaluation within the policy cycle (knowledge and understanding)
- Be familiar with the essential techniques, both qualitative and quantitative, of evalutation research (knowledge and understanding)
- Apply the counterfactual logic to the evalutaion of social policies and services and choose the most appropriate strategies to identify cause-effect relations between the implementation of a policy intervention and developments among its beneficiaries (applying knowledge and understanding)
- Autonomously interpret the results of evalutative empirical research carried out by others and identify potential issues connected to research design and data analsysis (making judgements)
- Master the specific terminology of social science methodology especially of evaluation research (communication)
- Be prepared to learn advanced research techniques in evaluation research, based on the skills developed in the course and follow-up deepening (learning skills)
- Oggetto:
Modalità di insegnamento
L’insegnamento è strutturato in 36 ore di didattica frontale in modalità online (presentazioni con audio e lezioni in diretta streaming).
Le attività saranno condotte con l'ausilio di strumenti utili a favorire l'autovalutazione di studenti e studentesse, in funzione del rafforzamento delle competenze (test periodici di autovalutazione e valutazione formativa, forum dedicati).
La frequenza non è obbligatoria, ma caldamente consigliata. Coloro che non possono frequentare le lezioni sono invitati a contattare la docente per fissare un colloquio, nel corso del quale verranno fornite alcune indicazioni generali utili alla preparazione dell’esame.
The course has 36 hours of lectures taught entirely online (audio presentations and online streaming)
Formative feedback and self-assessment will constitute an important part of the course, in order to strengthen students' hard and soft skills.
Attendance is not compulsory, but highly recommended. Students who cannot attend the lectures are invited to contact the instructor in order to arrange a meeting in which general information that will be useful in preparing for the examination will be provided.
- Oggetto:
Modalità di verifica dell'apprendimento
Il processo di apprendimento viene verificato in itinere a livello di gruppo-classe, tramite strumenti utili a favorire l'autovalutazione di studenti e studentesse (test periodici di autovalutazione e valutazione formativa, forum dedicati).
Il giudizio finale è determinato dal risultato ottenuto nella prova finale, che consiste in un test scritto, uguale per frequentanti e non frequentanti. Il test comprende 2 domande a risposta aperta (6 punti ciascuna), 5 quesiti multipli (3 punti ciascuno) e 1 semplice esercizio applicativo (4 punti).
Le domande sono volte a saggiare:
- La comprensione delle nozioni fondamentali presenti nei testi di riferimento e dettagliate nel Programma
- La capacità di applicare tali nozioni al campo delle politiche e dei servizi sociali
- L’abilità di interpretare in autonomia i risultati di ricerche empiriche svolte da altri
- La chiarezza espositiva e la padronanza del lessico specifico
- Le competenze critico-analitiche e di esemplificazione
La durata della prova è di 90 minuti.
The learning process will be a assessed during the course at the group-class level, through exercises and tools that facilitate student self-assessment (periodic tests of self-assessment and formative evaluation, dedicated forums).
Learning outcomes will be assessed based on student achievement in the final exam. The exam is the same for students who regularly attended the lectures and those who did not. It is a traditional sit-down examination that comprises: 2 open-ended questions (6 points each), 5 multiple-choice questions (3 points each), and 1 simple applied exercize.
The questions will assess:
- Whether students have understood the fundamental notions of the course contained in the reference texts, as detailed in "Programma"
- The ability to apply such knowledge to the field of social policies and social work
- The ability to autonomously interpret the results of empirical research
- Clarity of writing (including the usage of disciplinary-specific language)
- Critical and analytical competences
Students have up to 90 minutes to complete the exam.
- Oggetto:
Attività di supporto
Al termine di ogni argomento (a cadenza settimanale), verrà offerta una opportunità di auto-valutazione e valutazione formativa, che non concorre cioè al voto finale.
At the end of each topic (on a weekly basis), students will be offered the chance to self-assess their learning proceess with a test, which will not be graded but will be given formative feedback.
- Oggetto:
Programma
Dopo un’introduzione sui vari possibili intenti e logiche della valutazione, l’insegnamento si soffermerà sui due principali approcci per valutare l’efficacia delle politiche pubbliche che perseguono finalità di cambiamento: l’analisi di implementazione e l’analisi di impatto. Gli approcci metodologici verranno illustrati con modalità quanto più possibile intuitive e non tecniche, tramite la presentazione di studi di caso nell’ambito delle politiche e dei servizi sociali.
Nel dettaglio, il programma prevede:
- Il ciclo delle politiche pubbliche
- Le diverse logiche della valutazione
- Concetti essenziali per la valutazione
- Efficacia, efficienza, prodotti, risultati, impatto, bisogni
- Covariazione, causazione, concausazione, effetti multipli, influenza reciproca
- Valutazione di implementazione
- Teoria del cambiamento e modello logico
- Approcci top-down e bottom-up
- Monitoraggio e valutazione in itinere
- Il benchmarking
- La prospettiva dei beneficiari
- Breve rassegna dei metodi di raccolta e analisi dati per la valutazione di implementazione: questionari, diari, metodo Delphi, interviste in profondità, focus group, osservazione etnografica
- Fondamenti di statistica univariata e bivariata
- Valutazione di impatto
- La logica controfattuale
- Confronti naif e problemi di validità (distorsione da selezione e dinamica spontanea)
- Disegni sperimentali
- Il metodo dello studio controllato randomizzato (RCT)
- Disegni non-sperimentali
- Il metodo della differenza nelle differenze
- La regressione e il suo uso per la valutazione di impatto
- Accenni a: metodo dell’abbinamento statistico (matching), confronto intorno al punto di discontinuità
After an introduction on the different goals and logics of evaluation, the course will address the two main approaches to evaluate the effectiveness of public policies aimed at producing change: implementation analysis and impact analysis. The two methodological approaches will be presented in an intuitive and non-technical way, relying on case studies in the field of of social policies and social work.
More specifically, the program is the following:
- Public policy cycle
- The different logics of policy evaluation
- Key concepts for evaluation:
- Effectiveness, efficiency, outputs, results, impacts, needs
- Correlation, causation, conjuctural causation, multiple effects, mutual influence
- Implementation evaluation:
- Theory of change and logical model
- Top-down and bottom-up approaches
- Monitoring and ongoing evaluation
- Benchmarking
- The side of beneficiaries
- Review of methods for data collection and analysis used in implementation analysis: questionnaires, diaries, Delphi method, qualitative interviews, focus groups, ethnographic observation
- Statistical fundamentals: univariate and bivariate analysis
- Impact evaluation
- The counterfactual logic
- Naive comparisons and threats to validity (selection bias and pre-existing trends)
- Experimental designs
- Randomized control trials (RCT)
- Quasi-experimental designs
- Difference-in-differences method
- Regression analysis applied to impact evalutation
- (Shortly): statistical matching and regression discontinuity designs
Testi consigliati e bibliografia
- Oggetto:
La Spina, Antonio (2020). Politiche pubbliche. Analisi e valutazione, Il Mulino, Bologna. (2^edizione). Capitoli:
- II Il ciclo di una politica pubblica (pp. 45-76)
- IV Metodologia della ricerca sociale e politiche pubbliche (pp. 103-124)
- IX La valutazione in itinere (pp. 231-266)
Corbetta, P. (2014), Metodologia e tecniche della ricerca sociale, Il Mulino (2^ edizione), Bologna. Capitoli:
- XIII L’analisi monovariata (pp. 469-546)
- XIV L’analisi bivariata (pp. 547-607)
Martini, Alberto e Marco Sisti (2009). Valutare il successo delle politiche pubbliche, Il Mulino, Bologna. Capitoli:
- VI Effetti delle politiche e logica controfattuale (pp. 137-148)
- VIII Il metodo sperimentale (pp. 159-184)
- IX La logica dei metodi non sperimentali e il metodo differenza-nelle-differenze (pp. 185-200)
- X Gli utilizzi dell’analisi di regressione (pp. 201-220)
Gertler, Paul J., Sebastian Martinez, Patrick Premand, Laura B. Rawlings, e Christel M. J. Vermeersch (2011). Impact Evaluation in Practice, Washington DC: The International Bank for Reconstruction and Development / The World Bank. (Second Edition). Scaricabile gratuitamente su: https://www.worldbank.org/en/programs/sief-trust-fund/publication/impact-evaluation-in-practice
- 6 Difference-in-differences (pp.95-106)
- 7 Matching (pp. 107-116)
- 8 Combining methods (pp. 117-128)
La Spina, Antonio (2020). Politiche pubbliche. Analisi e valutazione, Il Mulino, Bologna. (2^edizione). Chapters:
- II Il ciclo di una politica pubblica (pp. 45-76)
- IV Metodologia della ricerca sociale e politiche pubbliche (pp. 103-124)
- IX La valutazione in itinere (pp. 231-266)
Corbetta, P. (2014), Metodologia e tecniche della ricerca sociale, Il Mulino (2^ edizione), Bologna. Chapters:
- XIII L’analisi monovariata (pp. 469-546)
- XIV L’analisi bivariata (pp. 547-607)
Martini, Alberto e Marco Sisti (2009). Valutare il successo delle politiche pubbliche, Il Mulino, Bologna. Chapters:
- VI Effetti delle politiche e logica controfattuale (pp. 137-148)
- VIII Il metodo sperimentale (pp. 159-184)
- IX La logica dei metodi non sperimentali e il metodo differenza-nelle-differenze (pp. 185-200)
- X Gli utilizzi dell’analisi di regressione (pp. 201-220)
Gertler, Paul J., Sebastian Martinez, Patrick Premand, Laura B. Rawlings, e Christel M. J. Vermeersch (2011). Impact Evaluation in Practice, Washington DC: The International Bank for Reconstruction and Development / The World Bank. (Second Edition). Available at: https://www.worldbank.org/en/programs/sief-trust-fund/publication/impact-evaluation-in-practice
- 6 Difference-in-differences (pp.95-106)
- 7 Matching (pp. 107-116)
- 8 Combining methods (pp. 117-128)
- Oggetto:
Note
Il corso si svolgerà completamente online.
Per favorire l'accessibilità da parte di studenti/studentesse lavoratori/lavoratrici, la maggior parte delle lezioni online sarà effettuata in modalità asincrona (presentazioni con audio scaricabili dalla piattaforma Moodle). Per il calendario dettagliato, si veda "ORARI LEZIONE" nella bacheca avvisi.
Tutto il materiale didattico, comprese le registrazioni delle lezioni online in modalità sincrona, sarà disponibile sulla piattaforma Moodle.
La prima lezione si terrà in modalità online sincrona con registrazione lunedì 21 settembre, a partire dalle ore 16. Link di accesso: https://unito.webex.com/meet/camilla.borgna.
Le modalità di svolgimento dell'attività didattica potranno subire variazioni in base alle limitazioni imposte dalla crisi sanitaria in corso. In ogni caso è assicurata la modalità a distanza per tutto l'anno accademico.
Coloro che intendono seguire l’insegnamento devono iscriversi sulla relativa pagina campusnet e sulla piattaforma Moodle.
Per sostenere l'esame è necessario registrarsi sul sistema ESSE3. Gli iscritti all’esame che non intendono presentarsi il giorno dell’appello sono tenuti a cancellarsi attraverso il sistema ESSE3 oppure, nel caso ciò non sia possibile, ad avvisare il docente tramite e-mail.
Per studenti e studentesse Erasmus è prevista la possibilità di sostenere l’esame in inglese.
The course is taught entirely online.
To facilitate access for working students, most online sessions will be in asynchronous mode (audio-slides, downloadable from the Moodle platform). For the detailed calendar, check "ORARI LEZIONE" under communications (avvisi).
All teaching material, including recordings of the live sessions, will be made available in the Moodle platform.
The first session will be in synchronous mode (online live streaming) on Monday September 21, from 4pm to 6pm. To access: https://unito.webex.com/meet/camilla.borgna.
Given the situation generated by the COVID 19 outbreak, lessons could be subject to last minute changes. In any case, online teaching will be available throughout the whole academic year.
Students who wish to attend the course must register on both campusnet and Moodle.
To take the exam, students must register on the ESSE3 system. Students registered for the exam who are unable to be present on the appointed day are required to cancel by means of the ESSE3 system or, if this is not possible, to contact the instructor by e-mail.
Erasmus students may take the examination in English.
- Oggetto:
