Avoin arviointi

Tämä sivu on ensyklopedia-artikkeli. Sivutunniste: Op_fi1725
Moderaattori:Joppe (katso kaikki) Sivun edistymistä ei ole arvioitu. Arvostuksen määrää ei ole arvioitu (ks. peer review).
Lisää dataa

Avoimeen arviointiin liittyvän verkkotyötilan kuvaus löytyy sivulta Opasnet.

<section begin=glossary />

Avoin arviointi on toimintamalli, joka pyrkii vastaamaan seuraavaan tutkimuskysymykseen ja soveltamaan vastauksen käytännön arviointeihin: Kuinka tieteellistä informaatiota ja arvovalintoja voi käyttää parantaakseen yhteisön päätöksentekoa tilanteessa, jossa osallistuminen on kaikille avointa?

Käytännössä arviointiprosessit on suoritettu käyttämällä Internetin työkaluja (erityisesti Opasnetiä) perinteisempien työkalujen rinnalla. Päätöksentekijät ja asiasta kiinnostuneet ihmiset voivat osallistua, kommentoida ja muokata sisältöä sen kehittyessä prosessin alkuvaiheista asti. Avoin arviointi sisällyttää täsmällisesti arvovalinnat, siten laajentaen menetelmänsä perinteisen riskinarvioinnin piiristä riskinhallinnan areenalle. Se kuitenkin pohjautuu selkeälle tietorakenteelle ja tieteelliselle metodologialle tarjotakseen selkeät säännöt erimielisyyksien käsittelyyn. Arvovalinnat siis läpäisevät saman avoimen kritiikin kuin tieteelliset väitteet; suurin ero on, että tieteelliset väitteet perustuvat havaintoihin, kun taas arvovalinnat yksilöiden mielipiteisiin.

Kuten muutkin termit arvioinnin alalla, "avoin arviointi" on aiheena sekaannusta aiheuttava. Siksi lienee hyödyllistä erotella selvästi seuraavat:

• Avoimen arvioinnin metodologia
• Avoimen arvioinnin prosessi - ts. varsinainen mekanismi, jolla avoimet arvioinnit toteutetaan
• Avoimen arvioinnin tulos tai raportti - ts. prosessin lopputulos

Varmistaakseen selkeyden, avoin arviointi myös pyrkii käyttämään termejä hyvin täsmällisesti. Siksipä seuraavassa yhteenvedossa on linkkejä lisätietoon monista termeistä ja käsitteistä, sekä niiden määritelmistä. <section end=glossary />

Mikä on avoin arviointi?

Avoin arviointi on menetelmä, jossa kerätään täsmälliseen kysymykseen (tässä tapauksessa perheenyhdistämispolitiikan vaikutuksiin) liittyvää tietoa ja näkemyksiä. Se ei ole mikä tahansa keskustelupalsta, vaan jatkotyöstöön pääsevät vain asiaan liittyvät ja perustellut kommentit. Väitteitä arvioidaan tutkimustiedon valossa, ja siksi parhaiten voit osallistua tuomalla esiin tutkittua tietoa ja viitteitä. Arvioinnissa kerätystä tiedosta kootaan näille Opasnetin sivuille kooste, jossa annetaan perusteltu vastaus kysymykseen.

Mikä on arvioinnin tavoite?

Työssä tavoitellaan jaettua ymmärrystä perheenyhdistämisen edellytyksistä. Jaettu ymmärrys on tilanne, jossa eri osapuolten näkemykset tiettyyn asiaan liittyen on kuvattu niin kattavasti, että voidaan ymmärtää, mitä näkemyksiä, arvoja ja uskomuksia asiaan liittyy, mistä asioista ollaan yksimielisiä ja mistä erimielisiä ja miksi.

Miten voin osallistua?

Helpointa on osallistua keskusteluun arvioinnin omalla sivulla Opasnetissä, jossa yleensä on kommentointimahdollisuus ilman kirjautumista. Usein arvioinnin yhteydessä on myös avoinna keskustelu Otakantaa-sivuilla, jossa on helpompi seurata keskustelun kulkua.

Onko osallistumiseen erityisiä ohjeita?

Parhaiten vaikutat arvioinnin lopputulokseen, kun noudatat näitä ohjeita:

• Keskustelussa arvostetaan lyhyitä, selkeitä kommentteja.
• Kaikki puheenvuorot tulee kytkeä selkeästi johonkin arvioinnin kohtaan.
• Esitettyihin väitteisiin pyydetään tutkimukseen nojaavia perusteluja.
• Mielipiteiden kohtelias esittäminen on sallittua.
• Aiheeseen liittymättömät kommentit poistetaan.
• Henkilöön käyvät kommentit poistetaan.

Miksi kannattaa osallistua?

Tämän arvioinnin tietoja käytetään tutkimushankkeen osana, ja tulokset raportoidaan valtioneuvostolle. Niinpä perustellut näkemykset voivat vaikuttaa siihen, millaista perheenyhdistämispolitiikkaa Suomessa lähitulevaisuudessa harjoitetaan. Lisäksi kerätyt tiedot jäävät pysyvästi Opasnetin sivuille ja ne ovat kaikkien vapaasti käytettävissä, jos joku esimerkiksi haluaa avata uuden arvioinnin samasta aihepiiristä.

Tiedonkulku päätöksenteossa

Tiedonkulku päätösvalmistelussa nykyään

Tiedonkulku ja informaatiovirrat nykyisessä päätöksenteossa eri toimijoiden ja eri tietotuotteiden välillä. Katso tarkempi kuvaus tekstistä.

Päätösvalmistelu perustuu pitkälle yksittäisten ihmisten väliseen vuorovaikutukseen ja tiedonkulkuun. Tätä tukevat monenlaiset selvitykset, raportit, ennakkoarvioinnit ja lobbausasiakirjat, mutta niiden yhteinen sivumäärä on aivan liian suuri päättäjän omaksuttavaksi rajatussa ajassa. Niinpä tieto välittyy ensisijaisesti henkilökohtaisten suhteiden välityksellä tai äärimmilleen pelkistettyinä raporttien ydinviesteinä.

Raporttien valmisteluun kuitenkin käytetään varsin paljon resursseja, ja esimerkiksi ennakkoarvioinnin pohjana saattaa olla perusteellinen perehtyminen aiheen tieteelliseen kirjallisuuteen. Tieteessä tiedonkululla on oma vakiintunut menettelynsä:

• Tutkijat eri puolilla maailmaa tekevät tutkimuksia ja kokeita, joista kertyy alkuperäishavaintoja eli -dataa. Tutkija analysoi omat datansa ja kirjoittaa niistä tieteellisen julkaisun, jossa omia tuloksia myös peilataan muiden julkaisujen tuloksiin. Kaikki julkaisut vertaisarvioidaan eli kollegat arvioivat työn tieteellisen laadun ja uutuusarvon.
• Kun aineistoa on kertynyt riittävästi, joku - yleensä arvovaltainen - tutkija tekee katsauksen koko aihepiirin kirjallisuuteen ja tekee yhteenvedon siitä, mitä kyseisestä asiasta tällä hetkellä tiedetään. Nämä katsaukset ovat erityisen arvokkaita ennakkoarvioinnin tekemisessä.

On syytä huomata, että tiedonkulku on yksisuuntaista ja katsauksen tekijät ovat pääasiassa sidoksissa tieteellisissä julkaisuissa kerrottuihin tietoihin. Vain harvoin katsaus tehdään keräämällä yhteen eri tutkimusten alkuperäisdata ja analysoimalla se uudelleen kokonaisuutena. Yhden julkaisun kirjoittajat eivät myöskään yleensä osallistu toisen havaintoaineiston analysointiin tai kommentointiin.

Yksisuuntaisuutta on helppo testata tällä kysymyksellä: jos joku huomaa väärän painotuksen tai virheen artikkelissa, raportissa tai muussa tietotuotteessa, onko hänellä mahdollisuus kommentoida asiaa ja saada se korjatuksi? Nykyinen päätösvalmistelu perustuu lähes pelkästään sellaisiin tietotuotteisiin, joissa vastaus on kielteinen. Koska virheitä kuitenkin tulee, on täytynyt kehittää raskas kuulemis- ja lausuntomenettely, joka ei korjaa virheitä vaan tuottaa erilaisia lisädokumentteja, jotka listaavan puutteita mutta eivät tyydyttävästi ratkaise päättäjän ongelmaa siitä, kuka kuulluista on kriittisesti tarkasteltuna oikeassa.

Tiedonkulku päätösvalmistelussa tulevaisuudessa

Tiedonkulku ja informaatiovirrat avoimessa päätöksentekokäytännössä. Päätöksenteon informaatiovirtojen keskuksena on avoin arviointi, joka rakennetaan päätöksenteon tarpeisiin uusimiman tutkimustiedon varaan. Katson tarkempi kuvaus tekstistä.

Tulevaisuudessa päätösvalmistelun keskiössä on avoin arviointi, johon kerätään päätöksenteon kysymyksenasettelu ja tavoitteet sekä tieteellinen tieto siitä, miten nuo tavoitteet parhaiten saavutetaan päätöksenteon asettamien toimenpiteiden rajoissa. Tietoa tarvitaan päättäjiltä, valmistelijoilta, sidosryhmiltä ja asiantuntijoilta. Avoin arviointi toimii tietovarantona, jossa sama informaatio ja työkalut ovat niin kansalaisen kuin valmistelijan ja päätöksentekijänkin saatavilla ja käytössä.

Virheiden korjaamisen ja luotettavan päättelyn näkökulmasta tämä on selkeä edistysaskel. Havaittujen virheiden työstäminen palautuu takaisin niille, jotka alunperinkin olivat tiedon arviointiin tuottaneet ja jotka joutuvat joko perustelemaan arvioinnin sisällön paremmin tai päivittämään sen kritiikin mukaiseksi. Päättäjän ei tarvitse enää lukea ennakkoarviointien mukana tulevia erimielisyyksiä, vaan erimielisyydet on jo käsitelty ja sisällytetty arviointiin ja sen päätelmiin.

On syytä huomata, että päätösvalmistelun muuttuminen ei välttämättä muuta itse päättämistä mitenkään: päätöksen tekevät edelleen kansanedustajat, hallitus, virkamies eli se, jolle päätösvalta kulloinkin on annettu. Tilanne kuitenkin paranee olennaisesti, koska päättäjä ymmärtää päätöksen vaihtoehdot ja vaikutukset paremmin ja tekee siten viisaampia päätöksiä.

Päätösvalmistelun lisäksi myös tieteenteko muuttuu erityisesti avoimen datan ajattelun edetessä. Kun alkuperäisaineistot tulevat yhä useammin kaikkien käytettäviksi, niiden yhdistely lisääntyy. Yksittäisten artikkelien sijasta niistä aletaankin työstää verkossa toimivilla yhteistyöalustoilla tieteen tilannekatsauksia, joiden analyysitulokset päivittyvät sitä mukaa kun dataa tulee lisää. Koneluettavassa muodossa olevat katsausten tulokset tekevät mahdolliseksi ennakkoarviointien rakentamisen määrällisiksi malleiksi, joiden lähtötietona nämä tulokset ovat. Analyysejä voidaan myös räätälöidä sen mukaan, millaisia kysymyksiä päätöksenteon piiristä nousee esimerkiksi väestöryhmittäisistä vaikutuksista. Päätöksenteko siis perustuu tietoon paljon vankemmin kuin ennen.

Uudessa päätösvalmistelussa voi aloittaa senhetkisistä politiikkasuositusten luonnoksista ja tarkastella, kyseenalaistaa ja muuttaa niiden lähtöoletuksia. Tämä on mahdollista, koska kirjallisen ennakkoarvioinnin sijasta käytetään mallipohjaista avointa arviointia. Silloin on mahdollista tehdä arviointiin muutoksia ja tarkastella niiden vaikutuksia suosituksiin tai muihin lopputuloksiin.

On syytä myös huomata, että vaikka henkilökohtaiset suhteet ja yksilöllinen tiedonvälitys säilyvät, ne eivät enää samalla tavalla välttämättömiä osallistumisen edellytyksiä kuin ennen, koska kaikki osallistuvat myös yhteisen verkkotyötilan kautta. Tämä tekee mahdolliseksi sen, että myös ujot ihmiset ja ne, joilla on sanottavaa vain yhteen yksityiskohtaan suuressa kokonaisuudessa, saavat äänensä paremmin kuuluviin heille tärkeissä asioissa.

Avointa päätöksentekokäytäntöä ja sen osana avointa arviointia on sovellettu mm. kesällä 2014 pneumokokkirokotteen hankinnassa kansalliseen rokotusohjelmaan.

Avoin arviointi metodologiana

Avoimen arvioinnin kokonaiskuva.

Avoin arviointi on rakennettu useiden erilaisten metodien ja periaatteiden pohjalle, jotka yhdessä muodostavat johdonmukaisen tiedon keräämisen, järjestämisen, yhdistämisen ja käyttämisen järjestelmän. Nämä metodit ja periaatteet ovat lyhyesti tiivistetty täällä. Tarkempi selvitys siitä, miksi juuri näitä metodeja käytetään ja tarvitaan löytyy (englanniksi) sivulta. Lisäksi jokaiselle metodille ja periaatteelle löytyy oma sivu Opasnetistä.

Avoimesta arvioinnista on myös lyhyt video Youtubessa ja Opasnetissä.

Tarkoitus

Avoimen arvioinnin perusajatus on kerätä päätöksentekoprosessiin tarvittava tieto. Tämä tieto on järjestetty arvioinniksi, joka ennustaa erilaisten päätösvaihtoehtojen vaikutukset tiettyjen pohjalta. Tieto on järjestetty sille tarkkuudelle, mikä on tarpeellista päätöksentekijöitä ajatellen. Arviointi on tyypillisesti kvantitatiivinen malli siitä, kuinka tehty päätös vaikuttaa olennaisiin asioihin ja lopputuloksiin. Päätökset, lopputulokset ja muut ongelmat on mallinnettu erillisinä arvioinnin osina, joita kutsutaan muuttujiksi. Käytännössä arvioinnit ja muuttujat ovat Web-sivuja Opasnetissä, näiden arviointien tekemiseen omistautuneessa työtilassa. Tällainen Internet-sivu sisältää kaiken tiedon (tekstin, numeeriset arvot ja ohjelmistokoodin), joka tarvitaan arviointimallin osan kuvaamiseen ja ajamiseen tietokoneohjelmalla.

Peruskäsitteet

Näitä sivuja kutsutaan myös tieto-olioiksi, koska ne ovat tavallisin tapa käsitellä tietoa pienissä paloissa arviointia. Jokainen objekti (tai sivu) sisältää informaatiota tietystä asiasta. Jokaisella sivulla on myös sama yleisrakenne: kysymys (mistä on kyse?), vastaus (mikä on paras tähänastinen vastaus tutkimuskysymykseen?) ja perustelu (mitä tiedämme asiasta ja millä perusteella vastaus on uskottava?). Näiden ongelmien kuvaukset rakennetaan nettisivuille, ja jokainen voi ottaa osaa lukemalla tai muokkaamalla aivan kuten Wikipediaa. Huomattavaa on, että kaikki omistavat lopputuloksen, joten alkuperäisillä kirjoittajilla ei ole tekijänoikeuksia tai oikeutta estää uusia muokkauksia.

Tieto-olioidien rakenne voidaan yhdenmukaistaa kuin-fraktaaliksi: objektilla, jolla on tutkimuskysymys, voi olla myös alakysymyksiä, joita voidaan käsitellä omina objekteinaan ja keskustelu aiheesta voidaan jakaa useisiin pienempiin keskusteluihin ala-aiheista. Esimerkiksi voi olla muuttuja Euroopan väkiluku, jossa tulos on jäsennetty maittain. Kuitenkin tiedon voisi jakaa useampiin pienempiin väkilukumuuttujiin vaikkapa niin, että jokaisella maalla olisi oma - esimerkiksi muodossa Suomen väkiluku. Se, kuinka tieto jaetaan tai kerätään muuttujiksi on maku- ja käytännönasia eikä objektiivisia sääntöjä ole. Sen sijaan säännöt sanovat, että jos kaksi muuttujaa leikkaavat, täytyy tietojen olla yhteneviä. Teoriassa tieto-olion laajuuden rajoja ei ole määritelty. Trialogi on termi, jolla kuvataan Wikipedia-tyylistä osallistumista. Trialogi painottaa, että dialogin ja keskustelun lisäksi suuri osa kommunikaatiosta ja oppimisesta ryhmään kuuluvien yksilöiden välillä tapahtuu tieto-olioidien, tässä tapauksessa Opasnetin sivujen kautta. Toisin sanoen ihmiset eivät vain lue tai puhu aiheesta, vaan oikeastaan kehittävät tieto-oliota, joka kuvastaa ryhmän yhteistä ymmärrystä. Wikipedia on kuuluisa esimerkki trialogisesta lähestymistavasta, vaikka wikipedistit eivät sanaa käytäkään.

Esimerkki muuttujasta.

Ryhmät ovat välttämättömiä avoimessa arvioinnissa, koska kaikki tutkimuskysymykset ovat (implisiittisesti) muutettu muotoon “Mitä voimme ryhmänä tietää asiasta X?”. Tiettyä aihetta miettivä ryhmä voidaan kuvata tarkasti, mutta se voi olla myös epämääräinen. Jälkimmäisessä tapauksessa se yleensä tarkoittaa ‘’ketä tahansa, joka haluaa osallistua’’ tai mahdollisesti ‘’koko ihmiskuntaa’’. Tiedon käyttötarkoitus on tärkeä, sillä se antaa voimaa koko arvioinnille. Mitään ei tehdä vain huvikseen (vaikka se onkin täysin pätevä motivaatio), vaan koska tietoa tarvitaan johonkin käytännölliseen, tarkkaan käyttöön. Tietenkin arviointeja tehdään myös järkeistämään päätöksiä, mutta avoimia arviointeja arvioidaan koko ajan käyttötarkoituksen mukaan; tätä tehdään arvioinnin ohjaamiseksi ja arviointi lopetetaan, kunhnan sen tarkoitus on täytetty. Avoin arviointi pyrkii olemaan looginen metodologia. Kaikki avoimen arvioinnin metodologiassa, kuten kaikessa avoimen arvioinnin työstössä, hyväksytään tai jätetään hyväksymättä riippuen havainnoista ja järkeilystä. Kuitenkin kaiken takana on muutama periaate, joita ei voida todentaa havainnoilla. Näitä kutsutaan avoimen arvioinnin alkuehdoiksi. Nämä kuusi alkuehtoa, jotka ovat Karteesialaista alkuperää, ovat seuraavat: Todellisuus on olemassa;; Todellisuus on jatkumo, jossa ei tapahdu esimerkiksi yhtäkkisiä ilmaantumisia tai katoamisiailman järkevää syytä; Voin ajatella järkevästi; Voin tutkia sekä käyttää tuloksi ja järkeilyä oppiakseni todellisuudesta; Yksilöt (kuten minä) voivat kommunikoida ja jakaa tietoa todellisuudesta.; Jokainen ei ole systemaattinen valehtelija.

Perusmenetelmät

Päättelysääntöjä käytetään päättämään, mitä uskotaan. Säännöt voidaan tiivistää seuraavasti:

1. Kuka tahansa voi tuoda esiin minkä tahansa väitteen sanoen, että se on totta.
2. Esiintuodun väitteen oletetaan olevan tosi, ellei sitä uskottavasti näytetä vääräksi.
3. Väitteen todenmukaisuus on aina suhteellista; tietty ryhmä joko on tai ei ole vakuuttunut.
4. Väitteellä on piiri, jossa sitä voidaan soveltaa. Oletusarvoisesti tieteellistä väitettä voidaan soveltaa koko maailmankaikkeudessa ja moraalista väitettä sellaisen ryhmän keskuudessa, joka kokee sen todeksi.
5. Kaksi saman ryhmän esittämää moraalista väitettä voivat olla ristiriidassa vain, jos niiden sovellusten piirit eivät risteä.
6. Jonkin väitteen todenmukaisuudesta voi olla epävarmuutta (tai moraalisen väitteen kohdalla siitä, pitäisikö sen olla todenmukainen). Tämä voidaan mitata määrällisesti subjektiivisen todennäköisyyden avulla.
7. Näiden päättelysääntöjen lisäksi voi olla muitakin sääntöjä, jotka auttavat päättämään, mitä ryhmän tulisi uskoa. Säännöt ovat myös väitteitä ja ne voidaan todistaa oikeiksi tai vääriksi, kuten kaikki väitteet.
8. Jos saman ryhmän kaksi ihmistä esittävät ristiriitaiset väitteet, ovat väitteet a priori -uskomuksen mukaan yhtä todennäköisesti tosia.
9. A priori -uskomukset muutetaan a posteriori -uskomuksiksi havaintojen (tieteellisen väitteen tapauksessa) tai mielipiteiden (moraalisen väitteen tapauksessa) ja jaettujen sääntöjen mukaisen avoimen kritiikin perustella. Käytännössä tämä tarkoittaa tieteellisen metodin käyttöä. Jokaisen ihmisen mielipiteelle annetaan sama painoarvo.

Avoimen arvioinnin kerrokset kuvaavat tyypillisiä avoimen arvioinnin työvaiheita. Näitä kerroksia on kolmet:

• Kerros I: Arvioinnin kysymyksen ja käyttötarkoituksen määrittely.
• Kerros II: Päätöskriteerien määrittely.
• Kerros III: Informaation tuottaminen.

On huomattavaa, että nämä kolme kerrosta muistuttavat läheisesti integroidun ympäristöterveyden vaikutusarvioinnin kolmea ensimmäistä vaihetta, mutta neljäs vaihe (arviointi) ei ole erillinen kerros avoimessa arvioinnissa. Sen sijaan arvioiminen ja informaation käyttö tapahtuu kaikissa kerroksissa jatkuvana ja toistuvana prosessina. Tämän lisäksi kerroksissa on yhtäläisyyksiä op_en:BRAFO-projektin kehittämiin lähestymistapoihin.

Esimerkki keskustelusta.

On selvää, että itseorganisoituneessa ryhmässä kaikki eivät ole samaa mieltä kaikista tieteellisistä ja moraalisista väittämistä. Hyvä uutinen on, ettei sitä odoteta eikä toivotakaan. On olemassa vahvoja mutta yksinkertaisia sääntöjä erimielisyyksien ratkaisemiseksi, lähinnä järjestäytyneen [Keskustelu|keskustelun] säännöt. Suoraviivaisissa tapauksissa keskustelu voi olla epämuodollista, mutta monimutkaisemmissa ja kiivaammissa tilanteissa pätevät seuraavat säännöt:

1. Jokaisen keskustelun lähtökohtana on yksi tai useampi väittämä. Näiden väittämien todenmukaisuus on keskustelun aihe.
2. Väittämä on tosi, ellei sitä vastaan hyökätä todella argumentilla.
3. Väittämiä voidaan puolustaa tai niitä vastaan hyökätä argumenteilla. jotka ovat itsessään pienempien keskustelujen väittämiä. Täten muodostuu puolustavien ja hyökkäävien argumenttien hierarkia.
4. Keskustelun ratkettua kaikkien tosien väittämien sisältö sisällytetään informaatio-olioon. Kaikki ratkaisut ovat aina väliaikaisia ja kuka tahansa saa avata keskustelun uudelleen. Oikeastaan keskustelun ratkeaminen ei tarkoita muuta kuin tilannetta, jossa senhetkiset todet väitteet sisällytetään asianmukaiseen informaatio-olioon.

Avointa arviointia tukevat teknilliset toiminnallisuudet

Opasnet on verkkotyötila avointen arviointien tekemiseen. Opasnetin käyttöliittymä on wiki-pohjainen ja se muistuttaakin monella tapaa wikipediaa, vaikka siinä onkin korostettu monia ominaisuuksia avoimen arvioinnin tekemistä varten. Yksi perusideoista on, että kaikki arviointia varten tehtävä työ voidaan toetuttaa käyttämällä yhtä käyttöliittymää. Kaikki tarpeellinen arvioinnin aloittamiseksi ja siihen osallistumiseksi on siis tarjolla, oli työ sitten informaation keräämistä, numeerista mallittamista, keskustelua, tilastoanalyysiä alkuperäisestä datasta, alkuperäisten tutkimustulosten julkaisemista, tarkistusarviointia, organisointia ja töiden jakamista tai tulosten jakamista päätöksentekijöille.

Käytönnössä Opasnet on nimitys monelle muullekin toiminnallisuudelle kuin wiki, mutta wiki-käyttöliittymän takia Opasnetiä käytetään usein Opasnet wikin synonyyminä. Monia muitakin toiminnallisuuksia on, kuten alla on listatukin. Tämän aiheen pääartikkeli on op_en:Opasnet structure.

Muuttujista suurimman osan tulokset ovat numeerisia. Ne ovat usein epävarmoja ja ilmaistaan todennäköisyysjakaumina. Nettisivu on epäkäytännöllinen paikka säilyttää ja käsitellä tällaista tietoa. Tätä tarkoitusta varten käytetään tietokantaa nimeltä Opasnet tietokanta. Tämä luo hyvin joustavan säilytysalustan ja melkein mitä tahansa tuloksia voidaan ilmaista kaksiuloitteisilla taulukoilla, jotka tallennetan Opasnet tietokantaan. Muuttujien tulokset voidaan saada käsiin vastaavalta Opasnetin sivulta. Opasnettiä voidaan käyttää lataamaan uusia tuloksia tietokantaan. Edelleen, jos yksi muuttuja (B) on jotenkin riippuvainen toisesta muuttujasta (A), voidaan A:n tulokset automaattisesti hakea ja käyttää B:n tulokseen käytetävissä kaavoissa.

Koska Opasnet tietokanta sisältää otteita monenlaisista muuttujista, se on itse asiassa hyvin laaja Bayesian belief network, jota voidaan käyttää arviointi-tason analyyseihin ja ehdollistamaan ja optimoimaan erilaisia päätösmahdollisuuksia. Optimaalisen päätösmahdollisuuden löytämisen lisäksi Opasnet tietokantaa voidaan käyttää tiettyyn päätökseen liittyvän muun tiedon arvioinnissa. Tämä tilastollinen metodi on nimeltään op_en:Value of information.

Opasnetissä on mallinnustyökaluja numeerisille malleille. Se on objektipainotteinen toiminnallisuus, joka toimii R-tilasto-ohjelmistolla ja käyttää tuloksia Opasnet tietokannasta. Jokainen informaatio-olio (yleensä muuttuja) sisältää kaavan, jossa on yksityiskohtaiset ohjeet siitä, miten sen tulokset lasketaan, usein perustuen mallin alemman tason muuttujiin.

Metatason toiminnallisuudet

Tosi-elämään asioihin liittyvän työn ja keskustelun lisäksi Opasnetissä on myös meta-taso. Meta-taso tarkoittaa, että Opasnetissä on keskustelua ja työtä Opasnetin itsnsä sisällöstä. Kaikkein näkyvin osa tätä on laatupalkki monen Opasnetin sivun oikeassa yläkulmassa. Vertaisluokitus tarkoittaa, että käyttäjiä pyydetään arvioimaan sivujen tieteellistä laatua ja hyödyllisyyttä asteikolla 0-100. Arvioijat voivat sitten käyttää tätä tietoa tietääkseen, mitä osia arvioinnista pitäisi kehittää, ja lukijat voivat saada selville, ovatko arviot sopivia heidän omaa käyttöään varten.

Käyttäjät saavat tehdä myös vertaisarviointeja sivuista. Ne ovat samalaisia, kuin tieteelliseten lehtien vertaisarvioinnit, joissa on kirjoitettua arviointia sisällön tieteellisestä laadusta. Toinen tapa tehdä kirjoitettu arvostelu ovat tunnustukset, joissa on kuvaus siitä, kuka on tehnyt mitäkin kyseiselle sivulle, ja mikä osa ansiosta pitäisi antaa kullekin osallistujalle.

Arvioita tieteellisestä laadusta, vertaisarviointeja ja tunnustuksia voidaan käyttää systemaattisesti laskemaan, paljonko kukin osallistuja on tehnyt Opasnetissä, vaikka nämä tavat eivät olekaan vielä hyvin kehittyneet: Osallistumispisteet ovat tähän mennessä ainoa systemaattinen metodi, jolla edes karkeasti arvioidaan arvioida osallistumista numeerisesti.

Arvostusteoria on metodi, jolla arvioidaan vapaasti käytettävissä olevien informaatio-olioiden arvoa jollekin ryhmälle. Tämä metodi on kehityksen kohteena ja se luo toivottavasti käytännön ohjeita arvostuksen jakamiseksi Opasnetin osallistujille.

Miksi avoin arviointi toimii?

Monet ihmiset suhtautuvat (ainakin aluksi) skeptisesti avoimen arvioinnin toimivuuteen. Osaksi tämä johtuu siitä, että lähestymistapa on uusi ja sitä ei ole vielä sovellettu ja hyväksytty laajasti. Suurin osa esimerkeistä on vain demonstraatio tarkoitukseen. Kuitenkin myös monia avointa arviointia puoltavia syitä voidaan keksiä:

• Kaikissa arvioinneissa on pula resursseista, mikä rajoittaa lopputuloksen laatua. Tärkeitä (ja kiisteltyjä) aiheita käsitellessä avoimen arvioinnin avaaminen kaikille tuo arviointiin uusia resursseja, kun kiinnostuneet vapaaehtoiset voivat osallistua.
• Avoimen arvioinnin säännöt mahdollistavat paljon uuden datan (joka voi olla ajoittain huono laatuista) järjestämisen korkealaatuiseen synteesiin uusien resurssien rajoissa.
• Ajatus tärkeän informaation jakamisesta - toimivan avoimen arvioinninedellytys - ei ole väkinäinen osallistujille, koska motivaatio avoimeen arviointiin tulee jaetusta toivosta yhteiskunnan parantamiseen, eikä rahallisesta hyödystä. Tämä ei ole kuten monilla muilla osa-alueilla, joilla informaatiomonopoleja ja tekijänoikeuksia tuetaan, jotta saadaan markkinoilla kilpailullista etua, mutta sivuvaikutuksena ilmaantuu tietomuureja.
• Liian kapea-alaisen alkuperäisen kysymyksen asettelun aiheuttamia ongelmia ei tule, koska useampi silmäpari tarkkailee työtä koko arvioinnin ajan.
• On helppoa systemaattisesti soveltaa tieteellisen metodin, lähinnä perusteluiden, havaintojen ja etenkin avoimen kritiikin periaatteita.
• Mikä tahansa aiempia arviointeja varten järjestetty tieto on heti valmiina käytettäväksi uudessa arvioinnissa vastaavanlaisesta aiheesta. Sekä datan keräämiseen kuluvat työtunnit että keräämiseen käytettävän ajan pituus vähenevät, siten tehden työskentelystä tehokkaampaa.
• Kaikki tieto on organisoitu standardiformaattiin, mitä mahdollistaa tehokkaiden metodien kehittämisen tiedonlouhintaa ja -muokkausta sekä yhtenäisyyden tarkastusta varten.
• On teknisesti helppoa estää pahansuopeat hyökkäykset arvioinnin sisältöä (Opasnet wikin aihe-sivulla) vastaan ilman, että aiheesta keskustelu-sivulla käytävää käytävää keskustelua tai kehittämistä tarvitsee rajoittaa; keskustelujen ratkaisun voi ladata aihe-sivulle vain luotettu ylläpitäjä.

Nämä seikat tukevat sitä, että avoin arviointi (tai samanlaisia periaatteita käyttävät lähestymistavat) tulee valtaamaan suurimman osan informaationtiotosta motivaationaan yhteiskunnan tarpeet ja yhteiskunnallisen päätöksenteon parantaminen. Tämän argumentin vahvuus näkyy jo yhteiskunnallisen kanssakäymisen aloitteellisuudessa mm. Wikipediassa ja Facebookissa. Kuitenkin myös taloudellisia puolia on: avointa arviointia on halvempi toteuttaa ja helpompi hyödyntää sekä tuottaa korkeamman luokan tuloksia kuin tämänhetkiset vaihtoehtoiset tavat tuottaa yhteiskunnallisesti tärkeää informaatiota

Avainsanat

Opasnet, avoin arviointi, yhteistyö, massayhteistyö, verkkotyötila, muuttuja, arviointi, informaatio olio, väite, totuudenmukaisuus, keskustelu, ryhmä