Arviointi
| Moderaattori:Jouni (katso kaikki)
Sivun edistymistä ei ole arvioitu. Arvostuksen määrää ei ole arvioitu (ks. peer review). |
| Lisää dataa
|
Arviointi on prosessi, joka kuvailee todellisuutta tarkoituksenaan tyydyttää jonkin päätöksen tekemiseen liittyvä tiedon tarve. Arviointi voi tarkoittaa myös kyseisen prosessin tuotetta eli arviointiraporttia. Useimmiten asiayhteydestä voidaan helposti päätellä, tarkoitetaanko sanalla raportin tekemisestä vai raporttia. Menetelmällisesti ajatellen nämä kaksi ovat erillisiä olioita, joita kutsutaan arviointiprosessiksi ja arvioinnin tuotteeksi.
Kysymys
Millainen rakenne on arvioinnilla, miten arviointi tehdään ja miten sitä käytetään?
Vastaus
Arvioinnilla on oma vakiomuotonsa, jota pyritään aina noudattamaan, jotta voidaan käyttää tehokkaita, osittain automaattisia työkaluja tiedon jäsentämiseen. Arvioinnilla on joukko attribuutteja eli määritteitä, ja niillä on aliattribuutteja.
Nimi
Arvioinnin kuvaileva tunniste.
Rajaus
Määrittelee arvioinnin tarkoituksen, rajauksen ja sisällön. Rajaus koostuu aliattribuuteista.
- Kysymys
- Mihin arviointikysymykseen tai -kysymyksiin etsitään vastausta arvioinnin avulla? Mikä on arvioinnin tarkoitus?
- Rajat
- Mihin vedetään tarkastelun rajat eli mitkä asiat otetaan mukaan ja mitkä rajataan ulkopuolelle?
- Ajateltu käyttö ja käyttäjät
- Kenelle arviointia tehdään? Kenen tietotarpeita arviointi palvelee?
- Osallistujat
- Ketkä vähintään pitäisi saada osallistumaan arviointityöhön, jotta kaikki tarpeellinen tieto saadaan kerätyksi? Jos joitakin ryhmiä pitää sulkea työn ulkopuolelle, miksi?
- Päätökset
- Mitä päätöksiä ja niiden vaihtoehtoja arviointiin otetaan mukaan? Lisäksi voi olla skenaarioita jotka eivät ole päätöksiä, esimerkiksi tarkastelusta voidaan asian selkeyttämiseksi rajata pois joitakin mahdollisuuksia. Esimerkiksi voidaan kysyä, mitä ilmastonmuutoksen sopeutumistoimia pitäisi toteuttaa tilanteessa, jossa keskilämpötila nousee yli kaksi astetta. Tällöin rajataan arvioinnin tarkastelun ulkopuolelle kaikki ne mahdolliset tilanteet, joissa lämpötilaraja ei ylitykään. Kyseessä ei tietenkään ole päätös, mutta tietoteknisesti tällaista skenaariota käsitellään samalla tavalla kuin päätöstä.
Vastaus
Antaa kerätyn tiedon perusteella mahdollisimman hyvät vastaukset rajauksessa esitettyihin kysymyksiin. Vastaus jakautuu kahteen osaan:
- Tulokset
- Vastaukset kaikkiin muuttujissa ja arvioinnissa esitettyihin tutkimuskysymyksiin. Myös perusteluissa mainittujen analyysien tulokset.
- Päätelmät
- Vastausten perusteella tehty pohdinta siitä, mitä tämä tieto merkitsee arvioinnin tarkoituksen kannalta.
Perustelut
Sisältää kaiken sen tiedon, jota tarvitaan hyvän vastauksen antamiseen. Perustelut sisältävät useita aliattribuutteja.
- Sidosryhmät
- Mitä sidosryhmiä arvioinnin kohteena olevaan asiaan liittyy? Mitkä ovat heidän intressinsä ja tavoitteensa?
- Muuttujat
- Mitä muuttujia eli jonkin tietyn ilmiön kuvauksia arvioinnin toteuttamiseksi tarvitaan? Miten ne liittyvät toisiinsa (syy-seurauksien kautta tai muuten)? Muuttujien joukosta on syytä erottaa kolmenlaisia olioita.
- Tavalliset muuttujat
- Ne kuvaavat jotain fysikaalisen maailman ilmiötä ja niitä tutkitaan tyypillisesti luonnontieteen keinoin.
- Arvomuuttujat
- Ne kuvaavat ihmisten arvoja (arvoarvostelmia) eli sitä mikä on hyvää tai pahaa. Arvojakin käytännössä käsitellään ikään kuin niitä voisi tutkia luonnontieteen menetelmin tekemällä havaintoja ihmisten käyttäytymisestä ja mielipiteistä.
- Metodit
- Ne kuvaavat aihettaan epäsuorasti eli vastaamalla kysymykseen "miten saan selville vastauksen kysymykseen X?" Metodin avulla voidaan saada vastaus sitten, kun se on kytketty oikeaan viitekehykseen arvioinnissa. Metodi voi esimerkiksi sisältää auton päästökertoimia, mutta varsinaisen kysymyksen kohteena olevat päästöt voidaan laskea vasta, kun arvioinnin toinen osa tuottaa tiedon siitä, montako kilometriä autolla ajetaan. Tarkkaan ottaen metodit eivät ole muuttujia, mutta ne taulukoidaan ja piirretään kaavioihin kuten muutujat.
- Analyysit
- Mitä tilasto- tai muita analyysejä kerätyn aiheiston pohjalta tehdään? Tyypillisiä analyysejä ovat päätösanalyysi (mikä päätösvaihtoehdoista tuottaa parhaan odotettavissa olevan lopputuloksen) ja tiedonarvoanalyysi (kuinka suuren haitan päätöksentekijälle eri muuttujien epävarmuudet aiheuttavat).
- Indeksit
- Mitä indeksejä arvioinnissa käytetään ja mitkä leikataan tarpeettomina pois ja missä vaiheessa?
Käytetyt taulukot
Edellä mainitut tiedot jäsennetään tietyllä tavalla, jotta niitä voidaan lukea ja analysoida automaattisesti. Seuraavaksi esitetään ne konkreettiset tietorakenteet, joita käytetään.
| Päätöksentekijä | Päätös | Vaihtoehto | Muuttuja | Solu | Muutos | ... | Tulos | Kuvaus |
|---|---|---|---|---|---|---|---|---|
| Henkilö tai ryhmä jolla on valta päättää asiasta. | Joukko vaihtoehtoja, jotka ovat toisensa poissulkevia ja joiden väliltä valitsee yksi päätöksentekijä. | Vaihtoehto osana yhtä päätöstä. | Muuttuja, jonka arvoista ainakin osaa muutetaan päätösvaihtoehdon toteutuessa. | Hakuehto niille muuttujan soluille, joiden arvoa muutetaan. | Muutoksen tyyppi. Vaihtoehdot: lisääminen, kertominen, korvaaminen (muita ei toistaiseksi käytetä). | Taulukossa voi olla myös muita indeksejä. | Luku, jota käytetään solujen sisällön muuttamisessa. | Päätösvaihtoehtoon liittyvän muutoksen vapaamuotoinen kuvaus. |
| Sidosryhmä | Muuttuja | Solu | Malli | Tulos | Kuvaus |
|---|---|---|---|---|---|
| Henkilö tai ryhmä, jolla in intressejä tai joka on toiminnan kohteena arviointiin liittyvässä asiassa. | Muuttuja, joka on sidosryhmälle merkittävä. | Hakuehto niille muuttujan soluille, joiden arvoa tarkastellaan. | Malli sille, miten eri muuttujien solujen arvot yhdistetään kokonaisarvioksi. Tyypillisiä vaihtoehtoja: Tulopainotus, Summapainotus. | Luku, jota käytetään solujen sisällön yhdistämisessä. | Lopputuloksen yhdistämiseen liittyvän muutoksen vapaamuotoinen kuvaus. |
| Nimi | Tunniste | Suunta | Alias |
|---|---|---|---|
| Muuttujan Opasnet-sivun nimi | Muuttujan Opasnet-sivun tunniste (esim. Op_fi3004) | Suunta: onko muuttujan tulostaulukko leveä (wide) vai korkea (long)? | Arviointimallin sisällä muuttujasta käytettävä nimi |
| Analyysi | Muuttuja | Solu | Rooli | Tyyppi |
|---|---|---|---|---|
| Yksittäisen analyysin tunniste. | Muuttuja, josta otetaan tietoja mukaan analyysiin. | Hakuehto niille muuttujan soluille, jotka otetaan analyysiin. | Muuttujan rooli analyysissä. | Analyysin tyyppi (esim. Päätösanalyysi, Tiedonarvoanalyysi, Herkkyysanalyysi jne). |
Analyysityyppi on tehokas työkalu monipuolisten analyysien tekemiseen. Tärkeimmät on kuvattu tässä.
- Päätösanalyysi
- Tyypillisessä tilanteessa annetaan yksi muuttuja rooliin Indikaattori ja toinen rooliin Päätös. Etsitään se päätösvaihtoehto, joka tuottaa parhaan tuloksen indikaattorille. On mahdollista antaa myös useita indikaattoreita ja päätöksiä, jolloin ajetaan niiden kaikki kombinaatiot. Jos tietoa ei määritellä, indikaattoreiksi ja päätöksiksi otetaan koko vastaavan taulun sisältö. Näin saadaan matriisi siitä, kenen päätökset ovat kenellekin mieluisia ja missä oloissa. Vaara: syö hurjasti muistia!
- Tiedonarvoanalyysi
- Määritellylle päätöstilanteelle tarkastellaan eri muuttujien ja kaikkien yhteisen epävarmuuden aiheuttamaa haittaa päätöksenteolle. Tiedonarvoanalyysi tehdään kaikille niille seliteindekseille, jotka ovat marginaaleja, ellei toisin määrätä.
- Herkkyysanalyysi
- Muutetaan eri muuttujien arvoja X % ja tarkastellaan niiden vaikutusta indikaattorimuuttujan arvoon.
| Muuttuja | Selite | Tiivistys | Toimi | Poisto |
|---|---|---|---|---|
| Muuttuja, jonka indeksejä käsitellään. | Selitesarake eli indeksi, jonka sisältöä käsitellään. | Muutetaanko seliteindeksi marginaalijakaumasta yhteisjakaumaksi? Kyllä/ei | Mikä toimenpide seliteindeksille tehdään? Vaihtoehdot: Supistus, Laajennus, Summa, Keskiarvo | Poistetaanko indeksi kokonaan? Kyllä/ei |
Tiivistys tarkoittaa marginaalijakauman muuttamista yhteisjakaumaksi. Marginaalijakauma tarkoittaa sitä, että muuttujalle on laskettuna tulos jokaista indeksin lokaatiota eli erisuuruista arvoa kohti. Tämä lisää muistin tarvetta niin moninkertaiseksi kuin indeksissä on lokaatioita. Jos indeksi muutetaan marginaalijakaumasta yhteisjakaumaksi, arvotaan jokaista Iter-indeksin arvoa kohti tasan yksi kyseisen seliteindeksin lokaatioista, ja muuttujan tuloksena käytetään kyseisen lokaation kohdalla olevaa tulosta. Tiivistämisessä mallin koko pienenee niin monenteen osaan kuin seliteindeksissä on lokaatioita. Kuitenkin seliteindeksin eri lokaatiot ovat edelleen muuttujassa edustettuna sillä painoarvolla kuin mikä niiden todennäköisyys on, ja seliteindeksin sarakkeessa säilytetään tieto siitä, mikä lokaatio valittiin kyseiselle riville. Todennäköisyydet voi kuvata esimerkiksi Todennäköisyydet-taulussa (ks. alla).
Toimi tarkoittaa jotain sellaista laskentaa yli jonkin seliteindeksin, jonka jälkeen kyseistä indeksiä ei enää muuttujassa ole. Summa laskee kaikki tulokset yhteen yli indeksin, keskiarvo laskee tulosten keskiarvon. Supistus ja laajennus muuttavat indeksin toiseksi, esimerkiksi kuntakohtainen tulos muutetaan maakuntakohtaiseksi (supistus) tai maakuntakohtainen pilkotaan kuntakohtaiseksi (laajennus). Supistettaessa tarvitaan tieto siitä, mitkä alkuperäisen indeksin lokaatiot kuuluvat mihinkin uuden indeksin lokaatioon; laajennettaessa tarvitaan lisäksi painokertoimet, joiden perusteella tulos pilkotaan pienempiin osiin. ⇤#: Ei ole selvää, halutaanko tätä tehdä taulukkotasolla, vai onko tämä sellaista toimintaa, joka halutaan tehdä suoraan koodiin. --Jouni Tuomisto 6. heinäkuuta 2012 kello 14.54 (EEST)
Poisto tarkoittaa sitä, että selitesarake poistetaan muuttujasta. Tämän jälkeen ei arvioinnissa enää ole tietoa siitä, mikä seliteindeksin arvo oli milläkin rivillä. Jos selitesarake poistetaan, se automaattisesti myös tiivistetään ensin, koska muuten syntyy epäjohdonmukaista paisumista malliin.
| Muuttuja | Solu | P |
|---|---|---|
| Muuttuja, jonka tuloksen todennäköisyyksistä on kyse. | Hakuehto niille muuttujan soluille, joille todennäköisyys määritetään. | Todennäköisyys. |
Perustelut
Vuosien pohdinnan ja kokeilun tulos.
Katso myös
- Assessment structure (Englanninkielisessä Opasnetissä)
- Vertaisarviointi
- Käytännön ohjeita arviointien tekemiseen