Arviointi

Tämä sivu on tietokide alatyypiltään metodi. Sivutunniste: Op_fi1692
Moderaattori:Jouni (katso kaikki) Sivun edistymistä ei ole arvioitu. Arvostuksen määrää ei ole arvioitu (ks. peer review).
Lisää dataa {{#opasnet_base_link:Op_fi1692}}

Arviointi on prosessi, joka kuvailee todellisuutta tarkoituksenaan tyydyttää jonkin päätöksen tekemiseen liittyvä tiedon tarve. Arviointi voi tarkoittaa myös kyseisen prosessin tuotetta eli arviointiraporttia. Useimmiten asiayhteydestä voidaan helposti päätellä, tarkoitetaanko sanalla raportin tekemisestä vai raporttia. Menetelmällisesti ajatellen nämä kaksi ovat erillisiä olioita, joita kutsutaan arviointiprosessiksi ja arvioinnin tuotteeksi.

Kysymys

Millainen rakenne on arvioinnilla, miten arviointi tehdään ja miten sitä käytetään?

Vastaus

Usein ympäristerveyskysymykset liittyvät osana johonkin monimutkaiseen kokonaisuuteen kuten liikennesuunnitteluun tai kaavoitukseen ja rakentamiseen. Tällöin jo pelkästään kokonaisuuden hahmottaminen voi olla vaikeaa. Siksi tässä esitetään yleiskäyttöinen rakenne vaikutusarvioinnille. Sitä voi käyttää tilanteen kartoittamiseen ja yleiskuvan viestintään eri toimijoiden kesken. Sitä voi myös käyttää pohjana, jos on syytä tehdä tarkempaa määrällistä arviointia terveys- tai muiden vaikutusten suuruudesta. Rakenteessa on pyritty nostamaan esille ne kysymykset, jotka parhaiten ohjaavat arviointityötä päätöksenteon tarvitseman tietotuen suuntaan.

Nimi

Arvioinnin kuvaileva tunniste.

Rajaus

Rajaus määrittelee arvioinnin tarkoituksen, rajat ja sisällön. Rajaus koostuu alakohdista kysymys, rajat, käyttö, osallistujat sekä päätökset.

Kysymys

Mihin arviointikysymykseen tai -kysymyksiin etsitään vastausta arvioinnin avulla? Mikä on arvioinnin tarkoitus?

Rajat

Mihin vedetään tarkastelun rajat eli mitkä asiat otetaan mukaan ja mitkä rajataan ulkopuolelle?

Ajateltu käyttö ja käyttäjät

Kenelle arviointia tehdään? Kenen tietotarpeita arviointi palvelee?

Osallistujat

Ketkä vähintään pitäisi saada osallistumaan arviointityöhön, jotta kaikki tarpeellinen tieto saadaan kerätyksi? Jos joitakin ryhmiä pitää sulkea työn ulkopuolelle, miksi? Lähtökohtana kannattaa pitää avoimuutta, koska se edistää luottamusta ja tulosten hyväksyttävyyttä sekä vähentää ristiriitoja.

Päätökset ja skenaariot

Mitä päätöksiä ja niiden vaihtoehtoja arvioinnissa tarkastellaan? Jos tarkastellaan skenaarioita, nekin on syytä kuvata tässä. Skenaarioilla rajataan asian selkeyttämiseksi tarkastelusta pois joitakin mahdollisuuksia. Esimerkiksi voidaan kysyä, mitä ilmastonmuutoksen sopeutumistoimia kunnassa pitäisi toteuttaa tilanteessa, jossa keskilämpötila nousee yli kaksi astetta. Tällöin rajataan tarkastelun ulkopuolelle kaikki ne tilanteet, joissa lämpötilaraja ei ylitykään, vaikka nekin ovat mahdollisia.

Ajoitus

Milloin arviointi toteutetaan, ja miten varsinainen päätöksentekoprosessi etenee? Milloin ja mitä tietoa tarvitaan?

Vastaus

Vastaus antaa kerätyn tiedon perusteella mahdollisimman hyvät vastaukset rajauksessa esitettyihin kysymyksiin. Vastaus jakautuu kahteen osaan:

Tulokset

Vastaukset kaikkiin esitettyihin tutkimuskysymyksiin. Myös perusteluissa mainittujen analyysien tulokset.

Päätelmät

Vastausten perusteella tehty pohdinta siitä, mitä tämä tieto merkitsee arvioinnin tarkoituksen kannalta.

Perustelut

Perustelut sisältävät kaiken sen tiedon, jota tarvitaan hyvän vastauksen antamiseen. Perustelut sisältävät useita alakohtia.

Sidosryhmät

Mitä sidosryhmiä arvioinnin kohteena olevaan asiaan liittyy? Mitkä ovat heidän intressinsä ja tavoitteensa? Sidosryhmät ymmärretään tässä laajasti eli tarkoittamaan kaikkia niitä ihmisiä tai tahoja, joihin päätös vaikuttaa, jotka haluavat vaikuttaa päätöksen sisältöön tai joita asia kiinnostaa.

Riippuvuudet

Mistä asioista päätöksen seuraukset riippuvat? Mitä asioita pitää kuvata, jotta päätöksentekoon vaikuttavista asioista saadaan tarpeellinen tieto käyttöön? Miten ne liittyvät toisiinsa (syy-seurauksien kautta tai muuten)? On syytä erottaa neljänlaisia asioita (niitä kutsutaan vaikutusarviointimalleissa myös muuttujiksi).

• Vasteet: Ne asiat, jotka ovat tarkastelussa mielenkiinnon kohteena, esimerkiksi terveysvaikutukset, kustannukset tai ilmastopäästöt.
• Tavalliset muuttujat: Ne kuvaavat jotain fysikaalisen maailman ilmiötä ja liittyvät suoraan tai välillisesti vasteisiin. Niitä tutkitaan tyypillisesti luonnontieteen keinoin. Esimerkiksi liikennemäärät, päästökertoimet tai altistuminen.
• Arvomuuttujat: Ne kuvaavat ihmisten arvoja (arvoarvostelmia) eli sitä mikä on tärkeää, hyvää tai pahaa. Ainoastaan arvojen avulla on mahdollista päätellä, mikä päätösvaihtoehdoista johtaa parempaan lopputulokseen kuin toinen. Ne kytkeytyvät aina suoraan vasteisiin.
• Metodit: Ne kuvaavat aihettaan epäsuorasti eli vastaamalla kysymykseen "miten saan selville vastauksen kysymykseen X?" Esimerkiksi päästökerroinlaskenta on metodi päästöjen laskemiseen. Terveyden ja hyvinvoinnin laitos kehittää jatkuvasti metodeja, joita voidaan käyttää osana terveysvaikutusten arviointia. Nyt on olemassa esimerkiksi Vesiopas, jonka avulla voi arvioida raakaveden saastumisen terveysvaikutuksia vesilaitoksen vettä käyttävässä väestössä. Metodeille on tyypillistä, että vaikka ne sisältävät monenlaista yleiskäyttöistä tietoa ympäristöterveydellisistä vaikutuksista, varsinainen vastaus kysymykseen X löytyy vasta, kun käyttäjä antaa jotain tapauskohtaista tietoa, esimerkiksi vesilaitoksen puhdistusmenetelmät ja saastumisen määrän.

Analyysit

Mitä tilasto- tai muita analyysejä kerätyn aiheiston pohjalta tehdään? Tyypillisiä analyysejä ovat päätösanalyysi (mikä päätösvaihtoehdoista tuottaa parhaan tai huonoimman odotettavissa olevan lopputuloksen) ja tiedonarvoanalyysi (kuinka suuren haitan päätöksenteolle eri muuttujien epävarmuudet aiheuttavat). Analyysejä tarvitaan tietenkin vain, jos ollaan tekemässä määrällistä vaikutusarviointia.

Indeksit

Mitä indeksejä arvioinnissa käytetään ja mitkä leikataan tarpeettomina pois ja missä vaiheessa?

Laskenta

Varsinainen määrällinen laskenta ja mallit. Opasnet-ympäristössä toteutetaan yleensä R-kielellä.

Kun suunnitellaan vaikutusarvioinnin aloittamista, on syytä huolellisesti käydä läpi Rajauksessa esitetyt kysymykset. Usein ne selkeyttävät tilannetta niin, että voidaan päättää, tarvitaanko tarkempaa määrällistä arviota vai ei. Jos arviointiin päätetään ryhtyä, on tärkeää vastata alustavasti myös Perusteluissa esitettyihin kysymyksiin ennen varsinaisen arvioinnin aloittamista. Niiden avulla voidaan hahmottaa arvioinnin tarkempi sisältö, tietotarpeet ja työmäärä. Varsinainen arviointityö on sisällöltään pääasiassa tarkempien määrällisten vastausten etsimistä niihin kysymyksiin ja lisäksi arvioinnin piirissä olevien asioiden välisten syy-seuraussuhteiden tarkempaa kuvaamista.

Käytetyt taulukot

Edellä mainitut tiedot jäsennetään tietyllä tavalla, jotta niitä voidaan lukea ja analysoida automaattisesti. Seuraavaksi esitetään ne konkreettiset tietorakenteet, joita käytetään.

Päätökset-taulun rakenne. Yhdellä rivillä on aina yhteen päätösvaihtoehtoon liittyvä muutos. Lisätietoja: op_en:Decision.

Päätöksentekijä	Päätös	Vaihtoehto	Muuttuja	Solu	Muutos	...	Tulos	Kuvaus
Henkilö tai ryhmä jolla on valta päättää asiasta.	Joukko vaihtoehtoja, jotka ovat toisensa poissulkevia ja joiden väliltä valitsee yksi päätöksentekijä.	Vaihtoehto osana yhtä päätöstä.	Muuttuja, jonka arvoista ainakin osaa muutetaan päätösvaihtoehdon toteutuessa.	Hakuehto niille muuttujan soluille, joiden arvoa muutetaan.	Muutoksen tyyppi. Vaihtoehdot: lisääminen, kertominen, korvaaminen (muita ei toistaiseksi käytetä).	Taulukossa voi olla myös muita indeksejä.	Luku, jota käytetään solujen sisällön muuttamisessa.	Päätösvaihtoehtoon liittyvän muutoksen vapaamuotoinen kuvaus.

Sidosryhmät-taulun rakenne. Yhdellä rivillä on yksi sidosryhmän arvostama lopputulos (eli indikaattori). Lisätietoja: op_en:Stakeholder.

Sidosryhmä	Muuttuja	Solu	Malli	Tulos	Kuvaus
Henkilö tai ryhmä, jolla in intressejä tai joka on toiminnan kohteena arviointiin liittyvässä asiassa.	Muuttuja, joka on sidosryhmälle merkittävä.	Hakuehto niille muuttujan soluille, joiden arvoa tarkastellaan.	Malli sille, miten eri muuttujien solujen arvot yhdistetään kokonaisarvioksi. Tyypillisiä vaihtoehtoja: Tulopainotus, Summapainotus.	Luku, jota käytetään solujen sisällön yhdistämisessä.	Lopputuloksen yhdistämiseen liittyvän muutoksen vapaamuotoinen kuvaus.

Muuttujat-taulun rakenne. Yhdellä rivillä on yksi arvioinnissa käytettävä muuttuja. Lisätietoja: op_en:Variable.

Muuttuja	Tunniste	Suunta	Alias
Muuttujan Opasnet-sivun nimi	Muuttujan Opasnet-sivun tunniste (esim. Op_fi3004)	Suunta: onko muuttujan tulostaulukko leveä (wide) vai korkea (long)?	Arviointimallin sisällä muuttujasta käytettävä nimi

Analyysit-taulun rakenne. Kuvaa arvioinnin puitteissa tehtäviä analyysejä. Yhdellä rivillä on yksi analyysin tarvitsema muuttuja.

Analyysi	Muuttuja	Solu	Rooli	Tyyppi
Yksittäisen analyysin tunniste.	Muuttuja, josta otetaan tietoja mukaan analyysiin.	Hakuehto niille muuttujan soluille, jotka otetaan analyysiin.	Muuttujan rooli analyysissä.	Analyysin tyyppi (esim. Päätösanalyysi, Tiedonarvoanalyysi, Herkkyysanalyysi jne).

Analyysityyppi on tehokas työkalu monipuolisten analyysien tekemiseen. Tärkeimmät on kuvattu tässä.

Päätösanalyysi

Tyypillisessä tilanteessa annetaan yksi muuttuja rooliin Indikaattori ja toinen rooliin Päätös. Etsitään se päätösvaihtoehto, joka tuottaa parhaan tuloksen indikaattorille. On mahdollista antaa myös useita indikaattoreita ja päätöksiä, jolloin ajetaan niiden kaikki kombinaatiot. Jos tietoa ei määritellä, indikaattoreiksi ja päätöksiksi otetaan koko vastaavan taulun sisältö. Näin saadaan matriisi siitä, kenen päätökset ovat kenellekin mieluisia ja missä oloissa. Vaara: syö hurjasti muistia!

Tiedonarvoanalyysi

Määritellylle päätöstilanteelle tarkastellaan eri muuttujien ja kaikkien yhteisen epävarmuuden aiheuttamaa haittaa päätöksenteolle. Tiedonarvoanalyysi tehdään kaikille niille indekseille, jotka ovat marginaaleja, ellei toisin määrätä.

Herkkyysanalyysi

Muutetaan eri muuttujien arvoja X % ja tarkastellaan niiden vaikutusta indikaattorimuuttujan arvoon.

Indeksit-taulun rakenne

Muuttuja	Selite	Tiivistys	Toimi	Poisto
Muuttuja, jonka indeksejä käsitellään.	Selitesarake eli indeksi, jonka sisältöä käsitellään.	Muutetaanko indeksi marginaalijakaumasta yhteisjakaumaksi? Kyllä/ei	Mikä toimenpide indeksille tehdään? Vaihtoehdot: Supistus, Laajennus, Summa, Keskiarvo	Poistetaanko indeksi kokonaan? Kyllä/ei

Tiivistys tarkoittaa marginaalijakauman muuttamista yhteisjakaumaksi. Marginaalijakauma tarkoittaa sitä, että muuttujalle on laskettuna tulos jokaista indeksin lokaatiota eli erisuuruista arvoa kohti. Tämä lisää muistin tarvetta niin moninkertaiseksi kuin indeksissä on lokaatioita. Jos indeksi muutetaan marginaalijakaumasta yhteisjakaumaksi, arvotaan jokaista Iter-indeksin arvoa kohti tasan yksi kyseisen indeksin lokaatioista, ja muuttujan tuloksena käytetään kyseisen lokaation kohdalla olevaa tulosta. Tiivistämisessä mallin koko pienenee niin monenteen osaan kuin indeksissä on lokaatioita. Kuitenkin indeksin eri lokaatiot ovat edelleen muuttujassa edustettuna sillä painoarvolla kuin mikä niiden todennäköisyys on, ja indeksin sarakkeessa säilytetään tieto siitä, mikä lokaatio valittiin kyseiselle riville. Todennäköisyydet voi kuvata esimerkiksi Todennäköisyydet-taulussa (ks. alla).

Toimi tarkoittaa jotain sellaista laskentaa yli jonkin indeksin, jonka jälkeen kyseistä indeksiä ei enää muuttujassa ole. Summa laskee kaikki tulokset yhteen yli indeksin, keskiarvo laskee tulosten keskiarvon. Supistus ja laajennus muuttavat indeksin toiseksi, esimerkiksi kuntakohtainen tulos muutetaan maakuntakohtaiseksi (supistus) tai maakuntakohtainen pilkotaan kuntakohtaiseksi (laajennus). Supistettaessa tarvitaan tieto siitä, mitkä alkuperäisen indeksin lokaatiot kuuluvat mihinkin uuden indeksin lokaatioon; laajennettaessa tarvitaan lisäksi painokertoimet, joiden perusteella tulos pilkotaan pienempiin osiin. Huomaa, että varsinainen laskenta tehdään tietenkin Tulos-sarakkeen luvuille, ja indeksiä käytetään luokittelemaan tulosta. ⇤#: Ei ole selvää, halutaanko tätä tehdä taulukkotasolla, vai onko tämä sellaista toimintaa, joka halutaan tehdä suoraan koodiin. --Jouni Tuomisto 6. heinäkuuta 2012 kello 14.54 (EEST)

Poisto tarkoittaa sitä, että selitesarake poistetaan muuttujasta. Tämän jälkeen ei arvioinnissa enää ole tietoa siitä, mikä indeksin arvo oli milläkin rivillä. Jos selitesarake poistetaan, se automaattisesti myös tiivistetään ensin, koska muuten syntyy epäjohdonmukaista paisumista malliin.

Todennäköisyydet-taulun rakenne

Muuttuja	Solu	P
Muuttuja, jonka tuloksen todennäköisyyksistä on kyse.	Hakuehto niille muuttujan soluille, joille todennäköisyys määritetään.	Todennäköisyys.

Taulukoiden yhdistäminen

Yllä mainittuja taulukoita yhdistetään tarvittaessa toisiinsa yhteisten sarakkeiden avulla. Yhdistäminen tapahtuu oletusarvioisesti kuten JOIN-operaatio SQL:ssä tai merge-funktio R:ssä. Yhdistämisessä on tärkeää, että sarakkeet on nimetty oikein ja samalla tavalla joka taulussa, jotta yhteiset sarakkeet voidaan tunnistaa koneellisesti. Poikkeuksena tästä on Sidosryhmä-sarake, joka Päätökset-taulussa on poikkeuksellisesti nimetty "Päätöksentekijä". Tämä poikkeus toivottavasti selkeyttää lukijalle, että Päätökset-taulussa olevat sidosryhmät ovat aina väistämättä päätöksentekijöitä jonkin asian suhteen.

Taulukoiden yhdistäminen on tärkeää mm. seuraavissa tilanteissa:

• Päätösanalyysissä yhdistetään päätöksentekijä Päätökset-taulussa Sidosryhmät-taulussa oleviin tietoihin siitä, mitä tämä päätöksentekijä arvostaa eli millä perusteella valitaan paras päätösvaihtoehto.
• Kaikissa tauluissa oleva Muuttuja-sarake voidaan kytkeä Muuttujat-tauluun ja näin yhdistää muihin tauluihin sellaista tietoa muuttujasta, jota ei niissä alunperin ole.
• Solu-saraketta käytetään löytämään oikeat rivit muuttujista, ja siksi sen on oltava koneellisesti tunnistettava.

Kuvaus-sarakkeen voi aina lisätä taulukkoon ja kirjoittaa siihen vapaamuotoista kuvailua kyseisestä asiasta. Kuvaus-sarake poistetaan aina ennen taulukon käyttöä, joten laskentaan sillä ei ole vaikutusta.

Perustelut

Vuosien pohdinnan ja kokeilun tulos.

Katso myös

• Assessment structure (Englanninkielisessä Opasnetissä)
• Vertaisarviointi
• Käytännön ohjeita arviointien tekemiseen
• Esimerkki Sidosryhmät-taulusta: op_en:Climate change policies and health in Kuopio/Stakeholders
• Esimerkki Todennäköisyydet-taulusta: Jatropan käyttö bioenergian lähteenä
• Assessment structure, vanha versio