Pripombe: Kako v Sloveniji meriti učinke predpisov?

Ministrstvo za javno upravo je pripravilo Osnutek metodologije za oceno učinkov predpisov,  v zvezi s širšimi prizadevanji Vlade za izboljšanje priprave predpisov, in ga konec junija 2022 poslalo v javno obravnavo.

Slovensko društvo evalvatorjev pozdravlja namen Vlade in Ministrstva, da oblikujeta Metodologijo. Pripravljavci so dosegli hvalevredno poenotenje pri oblikovanju seznama podrobnih kriterijev, ki vsebuje tudi podatkovne in normativne podlage, žal ne sistematično. Društvo je prepričano, da bo Metodologija uporaben pripomoček evalvatorjem tudi na drugih področjih, kot na primer pri vrednotenju učinkov projektov financiranih iz javnih sredstev, pri zunanjem vrednotenju učinkov in drugod, vključno z lokalnimi in regionalnimi vrednotenji učinkov kot tudi pri pripravi obrazcev za vsebinsko ocenjevanje projektnih prijav na nekatere javne razpise.

Društvo ocenjuje osnovni metodološki pristop k ocenjevanju učinkov pozitivno, ker je enostaven in sistematičen: učinke ocenjuje glede na smer (pozitiven / negativen / nima učinka), verjetnost, razsežnost in moč učinka (visoka / srednja / majhna). Kriteriji ocenjevanja učinkov so večinoma tako jasno opredeljeni, da jih zavezancem vsaj ekspertno ne bi smelo biti težko ocenjevati.

Ne glede na povedano Društvo meni, da metodologija še ni zrela za uveljavitev. To trdi kljub temu, da so mnoge stvari še nedorečene in bo morda treba katero od kritik v nadaljevanju spremeniti, morda tudi docela odpraviti.

Društvo na začetku zelo pogreša analizo stanja dosedanjega ocenjevanja učinkov predpisov, saj obveznost obstaja že več kot poldrugo desetletje. Pripravljavci Metodologije sami ugotavljajo, da se ocene pri predlaganih zakonodajnih spremembah zelo redko pripravljajo v skladu z obstoječim Priročnikom za izvajanje presoje posledic predpisov in politik. Računsko sodišče je pred leti opravilo revizijo uresničevanja Poslovnika Vlade (2007) in v tem okviru tudi določil o postopku ocenjevanja predpisov. Dokazali so jasno zlorabo postopka. Večina predlagateljev predpisov se je oceni učinkov izognila tako, da so bodisi kriterije ocenili kot nerelvantne ali da je učinek na te kriterije enak nič. V kolikšni meri je predložena Metodologija rešitev za ta problem? Dokler to ni razvidno tudi ni mogoče pričakovati, da bo nova Metodologija lahko uspešnejša od svojih predhodnic.

Metodologijo sestavlja več kot 200 podrobnih kriterijev, združenih v šest zelo neenakomerno pokritih glavnih področij (in več podpodročij) ocenjevanja. Pri tem pa povsem manjka opis metodologije sinteze podrobnih ocen po (pod)področjih in za celoten predpis, ki je predmet ocenjevanja. Sinteza podrobnih ocen je nujna, če hoče Metodologija res biti v pomoč odločanju na strateški ravni. Drugače proizvede množico podrobnosti, ki bodo ‘zanimive’ za nižjo raven uradnikov, ne  pa za strateške odločevalce na Vladni ravni. Poenostavljen primer možnega načina sinteze gl. v Prilogi 1, spodaj

Metodologija tudi ne opiše načina, na katerega bo uporabljena. Bodo vsi navedeni kriteriji obvezni pri presoji vsakega predpisa? Če da, potem bo Metodologija opazno povečala administrativne obremenitve in ni verjeti, da jo bodo zavezanci upoštevali. Če ne, kaj je obvezni minimum?

Metodologija ne vsebuje kriterijev za oceno učinkov predpisov na področje javnega zdravja, ki se je zaradi epidemije vsilila kot ena najvišjih prioritet države.

Kljub temu, da nekatere pomembne stvari v zvezi z Metodologijo še niso jasne, Društvo podaja več splošnih kritičnih pripomb.

Zdi se, da imajo nekatera področja ocenjevanja (administrativni učinki, informacijski vidiki resne težave z opredelitvijo svojih koristnih učinkov. Njihovi kriteriji ocenjevanja se večinoma ne nanašajo na učinke, ampak na presojo skladnosti ali oceno relevantnosti. Veliko preverb, ki jih predvidevajo tovrstni kriteriji bi morale biti (in verjetno so že) opravljene v fazi znotraj-sektorskega in medsektorskega usklajevanja predpisa, zato so v evalvaciji nepotrebne. Društvo zato meni, da je na vseh področjih ocenjevanja treba nujno uveljaviti enoten pristop ocenjevanja učinkov na tristopenjski lestvici (+/-/0) in se dosledno izogibati binarnim lestvicam (da/ne – te so primerne za oceno sprejemljivosti predpisov, ne njihovih učinkov!) ali deskriptivnim.

Metodologija s posebnimi preglednicami kriterijev vključuje le ocenjevanja smeri učinka (+/-/0) ne pa tudi ocen verjetnost, razsežnost in moči učinka, kakor je najavljeno v uvodu dokumenta.

Nasploh je Metodologija konceptualno šibka, skrčena na podroben seznam kriterijev ocenjevanja. Predvsem bi pričakovali rešitve za dosedanje probleme ocenjevanja kriterijev kot nerelevantnih ali da ni učinkov. Metodologija bi lahko določila, da predlagatelj predpisa izbere samo tiste kriterije ocenjevanja učinkov, ki so zanje relevantni in na njih dosegajo vsaj srednje močne (pozitivne ali negativne!) učinke, neposredne in posredne in so vsaj srednje verjetni ali srednje razsežni ali srednje močni (vsaj eno od tega).

In kaj narediti, če se pokaže, da ima predpis na nekem področju pomembne učinke, ampak jih presoja ne more dokazati, ker jih v Metodologijo vključeni kriteriji ocenjevanja ne zajemajo? Bi metodologija lahko dovolila pripravljavcem predpisov iz veljavnih državnih in sektorskih prioritet uvesti svoje kriterije po vzorcu ocenjevanja, ki ga je uvedla Metodologija (, tri-stopenjska lestvica ocene smeri, verjetnosti, razsežnosti in moči učinka)? Kolikšen delež kriterijev bi zavezanci lahko zamenjali? S takšno določbo bi bil postopek vrednotenja bolj relevanten in prijazen za uporabnike.

Društvo je Ministrstvu podalo par idej za okrepitev Metodologije:

1. Določiti minimalen okvir ocenjevanja na primer:
2. vsaj xx obveznih kriterijev;
3. vsaj xx izbirnih kriterijev; od tega do xx% kriterijev lahko zavezanci izberejo sami;
4. x obveznih področij vrednotenja (npr. finance, administrativna poenostavitev in tematski sektor predpisa);
5. vsaj še xx kazalnikov iz izbirnih področij, ki morajo biti za nosilca predpisa medsektorska.

Če je predlagatelj predpisa ocenil za xx% več učinkov kot jih je bil minimalno obvezen in so skupni rezultati ocenjevanja učinkov vsaj xx, potem o evalvaciji dokumenta ni treba razpravljati, drugače pa bi bilo to na Vladni ravni (Odborih?) obvezno?

• So izbrani kriteriji vsebinsko povezani z razvojnimi prioritetami države? Če so samo nekateri kriteriji takšni, potem bi morali biti bolj cenjeni (imeti višji rang; obvezni) kot drugi kriteriji (izbirni). S tem bi v presojo predpisov vnesli strateško razvojno dimenzijo, kar bi bilo za strateško raven odločanja dragoceno.
• Bo kdo preverjal izvajanje presoj in kakovost ocenjevanja predpisov? Bo kdo opravil meta-evalvacijo (kvaliteta ocenjevanja učinkov, kaj je/ni bilo v oceni upoštevano, ugotovljeni negativni učinki, sintezne ugotovitve; gl. ilustrativni primer v Prilogi 1)? Na primer evalvacijska skupina na MJU ali Generalni sekretariat Vlade (ali kdo tretji)? Meta-evalvacija bi pripravljala predloge za dodelavo Metodologije. Doslej za to ni skrbel nihče ali odločno preslabo. Morda pa lahko obrazec za meta-oceno izpolnijo zavezanci sami? Meta-evalvacija bi odločevalcem omogočila, da se lahko ravnajo po sinteznih rezultatih meta-evalvacije.
• Nadvse primerno bi bilo, da se Metodologijo pred uvedbo preizkusi na testnih primerih, na primer na desetih predpisih do konca leta. Če je Metodologija ustrezna, bo ocenjevanje potekalo hitro, če ne, je to znak, da zahteva dodelavo v smeri poenostavitve. Testne evalvacije naj opravi evalvacijska skupina na MJU, da si pridobi praktične izkušnje in se zave dobrih in slabih rešitev. Prva na vrsti za testno presojo bi morala biti Metodologija sama.

Priloga 1: Ilustrativni primer meta ocene (sintezna ocena ustreznosti kriterijev ocenjevanja)**

Vir podatkov. Osnutek metodologije za oceno učinkov (MJU, 2022).

Opombe:

* Lestvica vrednotenja: Nezadostno (od 0-60% ocen), Zadostno (od 60-70%), Dobro (od 70-80%), Zelo dobro (od 80-90%), odlično (od 90-100%).

** Preglednica je relevantna le za ilustracijo metode meta ocenjevanja.

Ilustrativna meta-ocena Metodologije nakazuje, da je MJU v celoti ‘zelo dobro’ izbralo kriterije ocenjevanja. Vendar je treba opozoriti na dve ključni opažanji, ki splošno oceno povsem relativizirata:

• Eno področje s podpodročjem je ocenjeno negativno in to povsem razvrednoti Metodologijo (v šoli z negativno oceno pri enem predmetu ni mogoče napredovati v višji letnik).
• Najslabše je ocenjeno ravno področje ocenjevanja, ki spada v pristojnost pripravljavca Metodologije, MJU.

Oznake: slo