Fakultet političkih znanosti, Sveučilišta u Zagrebu (FPZG) djeluje više od 60 godina i usmjeren je na proučavanje znanosti o javnim politikama i poučavanje brojnih generacija o važnosti oblikovanja i uspješne provedbe javnih politika. Međutim, javne politike potrebno je i evaluirati odnosno vrednovati. Potreba za vrednovanjem, kao i praksa vrednovanja javnih politika ustalila se u mnogim uređenim zemljama, dok je u Hrvatskoj još u povojima. Unatrag nekoliko godina postupak evaluacije odnosno vrednovanja postaje dijelom zakonodavnog okvira, a vrednovanja se počinju praktično provoditi, osobito za potrebe izrade i usvajanja dokumenata vezanih za EU politike u fazi programiranja, te tijekom kao i nakon provedbe. Ono što je međutim do nedavno nedostajalo je sustavna edukacija na temu vrednovanja javnih politika, programa i projekata na razini sveučilišta. Naručitelji i provoditelji vrednovanja su kroz praksu stjecali relevantna znanja, te kroz povremene edukacije u i izvan Hrvatske.

U okviru Sveučilišnog poslijediplomskog specijalističkog studija Prilagodba Europskoj uniji: upravljanje projektima i korištenje fondova i programa Europske unije, u jesen 2023. uveden je izborni kolegij Vrednovanje javnih politika, programa i projekata (https://www.fpzg.unizg.hr/predmet/vjppp). Sastoji se od predavanja, vježbi i seminara te prema ECTS sustavu nosi 5 bodova. Kolegij je utemeljen na sustavu i kriterijima evaluacije OECD-a koji se primjenjuju globalno na razini evaluacije programa međunarodnih razvojnih organizacija kao što su UN ciljevi održivog razvoja i politike EU. Globalni i europski sustav i pristup evaluaciji odnosno vrednovanju učinaka utkan je i u hrvatski sustav strateškog planiranja i upravljanja razvojem. Za procjenu postignuća ciljeva i njihovih učinaka tijekom provedbe i nakon provedbe strateških planskih akata i projekata koriste se odgovarajuće kvantitativne i kvalitativne analitičke metode. U okviru ekonomskih i organizacijskih znanosti razvijene su analitičke metode koje se koriste u politološkom i upravnom kontekstu. Cilj kolegija je pružiti teorijske spoznaje te prenijeti praktična iskustva vezana uz izgradnju i vođenje sustava vrednovanja. Naglasak kolegija je na upoznavanju praksi provođenja postupaka prethodnog vrednovanja (engl. appraisal, assessment, ex-ante evaluation), tijekom provedbe projekata i programa (engl. interim, process, progress evaluation), te nakon provedbe projekata i programa (engl. ex-post evaluation).    

Nositelj ovog kolegija je prof. dr.sc. Igor Vidačak, te su u razvoju i izvedbi kolegija sudjelovale i dr. sc. Marijana Sumpor i dr. sc. Irena Đokić. Prvo smo razgovarali s profesorom Vidačkom o temi vrednovanja i izvođenju ovog kolegija na Fakultetu političkih znanosti u Zagrebu.

Pitanje: Možete li se kratko predstaviti čitateljima – koje kolegije držite? Koje su glavne teme obuhvaćene kolegijima koje držite? Da li se u nekim kolegijima spominje vrednovanje? U kojoj mjeri je zastupljeno?

Držim kolegije Politički sustav Europske unije te Interesne skupine i lobiranje u EU gdje se kroz rasprave o procesima kreiranja EU politika i razne studije slučaja redovito dotaknemo i EU standarda vrednovanja javnih politika. Na specijalističkom poslijediplomskom studiju držim još i izborni kolegij o  programima i fondovima EU za organizacije civilnog društva gdje prolazimo detaljnije kriterije i standarde vrednovanja programa i projekata EU. Ipak, vrednovanje nije u primarnom fokusu tih kolegija, ali studenti kroz njih mogu dobiti barem osnovne informacije i eventualni poticaj za daljnje otkrivanje te teme.

Pitanje: Kada ste se prvi puta susreli s temom vrednovanja, u kojem kontekstu? Kakvo je Vaše dosadašnje iskustvo u području vrednovanja – praktično, empirijski, znanstveno-stručno, istraživačko, konzultantsko…?

S vrednovanjem sam se susreo dosta rano, na početku svoje akademske karijere. Imao sam sreću započeti svoj znanstveno-istraživački rad u Institutu za razvoj i međunarodne odnose gdje radi niz vrsnih stručnjaka s velikim iskustvom u području vrednovanja. Tamo sam 2003. ima priliku voditi i svoj prvi istraživački projekt vrednovanja provedbe EU programa CARDS, za tadašnje Ministarstvo europskih integracija, te sudjelovati u nizu drugih evaluacijskih projekata. Poslije Instituta sam više od devet godina bio u poziciji naručitelja vrednovanja javnih politika, programa, projekata na mjestu ravnatelja Vladinog Ureda za udruge u sklopu operativne strukture za EU fondove. Nakon toga sam nastavio konzultantski angažman za Europsku komisiju i razne međunarodne organizacije gdje sam se najviše bavio vrednovanjem strategija podrške razvoju civilnog društva te reforme javne uprave u zemljama zapadnog Balkana i šire.

Pitanje: Na koji način je došlo do uvođenja ovog izbornog kolegija? Koje pretpostavke su morale biti zadovoljene? Postoje li slični kolegiji na nekom od hrvatskih fakulteta? Ako da, po čemu je ovaj drugačiji?

Ovaj izborni kolegij je reakcija s jedne strane na rastuće potrebe za stručnim znanjima iz područja vrednovanja javnih politika, programa i projekata, a s druge i na prazninu u sustavu visokog obrazovanja kad je riječ o ovoj temi. Trenutno se, prema mojim saznanjima, ne izvodi sličan kolegij na hrvatskim fakultetima. Prije nekog vremena, profesor Grdešić je držao kolegij posvećen vrednovanju javnih politika. Ovaj je kolegij ipak drugačiji po tome što je utemeljen na sustavu i kriterijima vrednovanja OECD-a koji su danas nezaobilazni u praksi institucija EU kao i većine međunarodnih organizacija te donatora. Dodatno, kolegij ima i vrlo praktičnu dimenziju te se od polaznika očekuje da kroz razne vježbe te pisani ispit primijene stečena znanja na konkretnim primjerima.

Razgovarali smo s dr. sc. Marijanom Sumpor o dojmovima prve generacije studenata koji su odabrali i odslušali ovaj kolegij.

Pitanje: Kada ste se prvi puta susreli s temom vrednovanja i kako ste prepoznali njenu važnost u svom radu?

Imala sam priliku 18 godina raditi u Ekonomskom institutu, Zagreb (EIZ) u odjelu za regionalni razvoj i ono što me ispunjavalo je bila prilika povezivati teoriju i praksu kroz razne znanstveno istraživačke i razvojne projekte. Prvi susret s evaluacijom imala sam prije više od 20 godina kada smo sudjelovali u timu evaluatora zajedno s predstavnicima Ekonomskog fakulteta Split (EFST) i Instituta za razvoj i međunarodne odnose iz Zagreba (IRMO). Provodili smo postupak prethodnog vrednovanja ili ex-ante evaluaciju procesa izrade Strategije regionalnog razvoja RH. Radi se o iterativnom procesu u kojem izrađivači dokumenta usko surađuju s evaluatorima čiji je ključni doprinos unapređenje kvalitete i provedivosti strateškog dokumenta. U potrazi za mogućom edukacijom u području evaluacije naišla sam 2006. na edukacijski program „EASY-ECO Training – Evaluacija održivog razvoja“, Regionalni centar za okoliš, Ured u Mađarskoj i Istraživački institut za upravljanje održivošću, Sveučilišta za ekonomiju i poslovnu administraciju u Beču. Navedeni je program bio daleko ispred našeg vremena, no znanje koje sam stekla bilo je iznimno važno. Kasnije, 2018. imala sam priliku obrazovati se u Švicarskoj gdje sam završila IPDET program, međunarodni trening program za razvojnu evaluaciju u organizaciji Sveučilišta u Bernu (CH) i Sveučilišta u Saarbrückenu (DE) uz podršku Globalne inicijative za evaluaciju (GEI) koja okuplja multilateralne organizacije kao što su Svjetska banka, UN i drugi bilateralni partneri.

Nadalje, evaluacija koju bih istaknula je „Ocjena sustava strateškog planiranja i mogućnosti financiranja razvoja županija i lokalnih jedinica u kontekstu provođenja politike regionalnog razvoja Republike Hrvatske“ (EIZ, 2012). Preporuke su bile usmjerene na unapređenje metodologije strateškog planiranja i jačanje institucionalnih kapaciteta na regionalnoj i lokalnoj razini. U međuvremenu sam radila na nizu procjena i evaluacijskih studija Preporuke smo oblikovali s orijentacijom na provedbenu praksu, ne teorijski. Taj dio je bio bitan i tu je ključna razlika između znanosti i evaluacije. Od evaluatora se očekuju jasne i provedive preporuke i prosudba kojom evaluator daje utemeljen i argumentiran vrijednosni sud o predmetu evaluacije. Prepoznala sam sebe u tom poslu.

Istovremeno, s pristupanjem Republike Hrvatske Europskoj Uniji počela su se dodjeljivati bespovratna sredstva za projekte prekogranične suradnje, a kasnije i kroz razne natječaje za financiranje projekata iz EU fondova. Postupak procjene projekata je zapravo ex-ante evaluacija koja se temelji na OECD-ovim kriterijima evaluacije. Kao znanstvenica i kroz iskustva u razvojnoj praksi imala sam priliku povezivati teoriju o evaluaciji, strateškom planiranju i upravljanju razvojem. Od 2015. godine radim na projektu Evaluation Helpdesk za Europsku komisiju i pratim provedbu Evaluacijske strategije RH vezane uz Europske strukturne i investicijske fondove (2014-2020, 2021-2027). Također, angažirana sam kao savjetnica Europskoj komisiji u procesu ex-post evaluacije Kohezijske politike EU 2014.-2020. za Tematski cilj 11 (Unapređenje institucionalnih kapaciteta) i za evaluacije operativnih programa koje se odnose na Hrvatsku.

Uspostavili smo 2015. Hrvatsku evaluatorsku mrežu (HEM), učlanili se kao neformalna mreža u međunarodnu organizaciju za poticanje suradnje među evaluatorima (IOCE). U ožujku 2024. održali smo osnivačku skupštinu Hrvatskog evaluacijskog društva (HEVAL) te sam izabrana za predsjednicu udruge. Edukacije za evaluatore pokrenuli smo u suradnji s kolegama evaluatorima iz cijele regije koji surađuju u okviru Mreže evaluatora zapadnog Balkana (WBEN – Western Balkan Evaluation Network). Održali smo edukacije u Ljubljani (2016.), Zagrebu (2017), Beogradu (2019.) i online program u BiH (2020.). Novi iskorak u edukaciji za evaluaciju bio je prijedlog pokretanja sveučilišnog kolegija na Fakultetu političkih znanosti Sveučilišta u Zagrebu 2023. Želja nam je nastaviti s razvojem edukacija u suradnji s organizacijama i sveučilištima iz regije i drugih država EU te osmisliti i uspostaviti zajedničke sveučilišne i stručne programe za evaluatore.

Pitanje: Kakvi su Vaši dojmovi u vezi izvedbe ovog kolegija? Na koji način je koncipirana nastava?

Jako nas je razveselila vijest da je FPZG prihvatio naš prijedlog i da su studenti bili zainteresirani upisati ovaj izborni kolegij. Većina ih nije imala iskustva u evaluacijama, no odlučili su se ipak poslušati ovaj kolegij i aktivno su se uključivali u rasprave i grupne vježbe. Program sadrži teorijski uvod, metodologiju evaluacije s naglaskom na teoriju promjena, evaluacijske kriterije, dizajn evaluacijske studije, istraživačke kvantitativne i kvalitativne metode, opis posla za evaluatore, te primjere iz prakse. Studenti su se mogli upoznati s konkretnim primjerima evaluacijskih studija i postupcima evaluacije projekata.

Pitanja na kraju: Kakvo je zadovoljstvo polaznika? Jesu li ispunjena njihova očekivanja? Što smatraju prostorom za unaprjeđenje sadržaja i izvedbe kolegija?

Kako je ovo pilot godina provedbe ovog kolegija, jako nam je stalo do iskrenog feedbacka polaznika. Zasad nam se čini da su očekivanja ispunjena, ali ćemo učiniti sve da sve primjedbe i sugestije polaznika uvažimo i dodatno unaprijedimo program za sljedeću generaciju. Zanimalo nas je što polaznici misle o kolegiju, imali su i sami priliku vrednovati izvedbu kolegija i njegovu svrsishodnost.

Temeljem dobivenih odgovora studenti su naveli sljedeće razloge za izbor kolegija: zainteresirao ih je opis kolegija, činio im se zanimljiv i koristan, smatraju da bi mogli dobiti znanja koja se mogu praktično primijeniti u svakodnevnom radu, da mogu nadograditi postojeća znanja i učiti od stručnjaka o postupku vrednovanja, da mogu bolje razumjeti način funkcioniranja provođenja vrednovanja programa tijekom određenog programskog razdoblja, zanima ih kako funkcionira vrednovanje, koje su procedure i koja je svrha, te im se kolegij činio zanimljivim i potrebitim za stjecanje znanja općenito o EU fondovima. Na pitanje jesu li zadovoljni stečenim znanjem s obzirom na inicijalna očekivanja: svi ispitanici su odgovorili da jesu.

Nadalje, na pitanje smatraju li da će moći upotrijebiti stečena znanja u njihovom praktičnom radu, istaknuli su sljedeće:

  • Smatram da će naučena znanja i vještine koje smo stekli kroz teorijsku podlogu i praktične primjene i rad na konkretnim zadacima uvelike doprinijeti budućem radu.
  • Kroz sustav javne nabave mogu se primijeniti neki od ključnijih ciljeva vrednovanja: učinkovitost, dosljednost, djelotvornost.
  • Mislim da će mi pomoći kod pripreme projektnih prijedloga. Kroz vrednovanje se analizira neki projekt/program te se daju i preporuke što bi se moglo bolje napraviti.
  • Ne radim u području vrednovanja javnih politika, programa i projekata, tako da u svojem poslu neću primijeniti neposredno stečena znanje o vrednovanju.
  • Mislim da hoću, na svom stalnom poslu.
  • U ovom trenutku ne, obzirom da se ne bavim takvim poslom, ali u slučaju promijene posla, gdje bih radila na pisanju projektnih prijava, svakako.
  • Trenutno ne, ali nadam se da ću u budućnosti imati priliku.
  • Za sada još ne. Trebam još steći znanja i poznanstva.

Najzanimljivije u programu im je bilo:

  • Povezivanje teorije i prakse, praktični rad i vježbe.
  • Bilo je interesantno vidjeti što uključuje proces vrednovanja i kakva je korist od toga.
  • Odlično je što su predavači u stvarnom doticaju s onim što predaju pa su nam dosta toga govorili iz iskustva što mi je bilo zanimljivo i korisno. Iskustva predavača iz javnog i privatnog sektora.
  • Najzanimljivije je bio prikaz i objašnjenja kako se provodi vrednovanje programa, koja je učinkovitost provedbe i koje su preporuke za poboljšanje provedbe programa.
  • Evaluacija projekata i rad na konkretnim primjerima.
  • Izrada dijagrama teorije promjena (TOC).

Uz pitanje što bi se u programu moglo unaprijediti istaknuto je samo da bi se moglo dati više primjera iz stvarnog života i prakse za objašnjenje nekih pojmova, pitanja i metodologija. Ostali su naveli da je sve bilo u redu, dobro koncipirano, izuzetno su zadovoljni, te da su kroz ovaj kolegij dobili sve potrebne, osnovne informacije, na koji način funkcionira vrednovanje sustava odabira projekata.

Intervju je provela dr. sc. Irena Đokić, HEVAL

 

Oznake: