Avoin arviointi

Tämä sivu on ensyklopedia-artikkeli. Sivutunniste: Op_fi1725
Moderaattori:Joppe (katso kaikki) Sivun edistymistä ei ole arvioitu. Arvostuksen määrää ei ole arvioitu (ks. peer review).
Lisää dataa {{#opasnet_base_link:Op_fi1725}}

Avoimeen arviointiin liittyvän verkkotyötilan kuvaus löytyy sivulta Opasnet.

<section begin=glossary />

Avoin arviointi on toimintamalli, joka pyrkii vastaamaan seuraavaan tutkimuskysymykseen ja soveltamaan vastauksen käytännön arviointeihin: Kuinka tieteellistä informaatiota ja arvovalintoja voi käyttää parantaakseen yhteisön päätöksentekoa tilanteessa, jossa osallistuminen on kaikille avointa?

Käytännössä arviointiprosessit on suoritettu käyttämällä Internetin työkaluja (erityisesti Opasnetiä) perinteisempien työkalujen rinnalla. Päätöksentekijät ja asiasta kiinnostuneet ihmiset voivat osallistua, kommentoida ja muokata sisältöä sen kehittyessä prosessin alkuvaiheista asti. Avoin ariointi sisällyttää täsmällisesti arvovalinnat, siten laajentaen menetelmänsä perinteisen riskinarvioinnin piiristä riskinhallinnan areenalle. Se kuitenkin pohjautuu selkeälle tietorakenteelle ja tieteelliselle metodologialle tarjotakseen selkeät säännöt erimielisyyksien käsittelyyn. Arvovalinnat siis läpäisevät saman avoimen kritiikin kuin tieteelliset väitteet; suurin ero on, että tieteelliset väitteet perustuvat havaintoihin, kun taas arvovalinnat yksilöiden mielipiteisiin.

Kuten muutkin termit arvioinnin alalla, "avoin arviointi" on aiheena sekaannusta aiheuttava. Siksi lienee hyödyllistä erotella selvästi seuraavat:

• Avoimen arvioinnin metodologia
• Avoimen arvioinnin prosessi - ts. varsinainen mekanismi, jolla avoimet arvioinnit toteutetaan
• Avoimen arvioinnin tulos tai raportti - ts. prosessin lopputulos

Varmistaakseen selkeyden, avoin arviointi myös pyrkii käyttämään termejä hyvin täsmällisesti. Siksipä seuraavassa yhteenvedossa on linkkejä lisätietoon monista termeistä ja käsitteistä, sekä niiden määritelmistä. <section end=glossary />

Avoin arviointi metodologiana

Avoin ariointi on rakennettu useiden erilaisten metodien ja periaatteiden pohjalle, jotka yhdessä muodostavat johdonmukaisen tiedon keräämisen, järjestämisen, yhdistämisen ja käyttämisen järjestelmän. Nämä metodit ja periaatteet ovat lyhyesti tiivistetty täällä. Tarkempi selvitys siitä, miksi juuri näitä metodeja käytetään ja tarvitaan löytyy (englanniksi) sivulta [en: Open assessment method]. Lisäksi jokaiselle [Metodi|metodille] ja periaatteelle löytyy oma sivu Opasnetistä.

Tarkoitus

Avoimen arvioinnin perusajatus on kerätä päätöksentekoprosessiin tarvittava tieto. Tämä tieto on järjestetty arvioinniksi, joka ennustaa erilaisten päätösvaihtoehtojen vaikutukset tiettyjen pohjalta. Tieto on järjestetty sille tarkkuudelle, mikä on tarpeellista päätöksentekijöitä ajatellen. Arviointi on tyypillisesti kvantitatiivinen malli siitä, kuinka tehty päätös vaikuttaa olennaisiin asioihin ja lopputuloksiin. Päätökset, lopputulokset ja muut ongelmat on mallinnettu erillisinä arvioinnin osina, joita kutsutaan muuttujiksi. Käytännössä arvioinnit ja muuttujat ovat Web-sivuja Opasnetissä, näiden arviointien tekemiseen omistautuneessa työtilassa. Tällainen Internet-sivu sisältää kaiken tiedon (tekstin, numeeriset arvot ja ohjelmistokoodin), joka tarvitaan arviointimallin osan kuvaamiseen ja ajamiseen tietokoneohjelmalla.

Peruskäsitteet

Näitä sivuja kutsutaan myös tieto-olioiksi, koska ne ovat tavallisin tapa käsitellä tietoa pienissä paloissa arviointia. Jokainen objekti (tai sivu) sisältää informaatiota tietystä asiasta. Jokaisella sivulla on myös sama yleisrakenne: ‘’’rajaus’’’ (mistä on kyse?), ‘’’määritelmä’’’ (mitä tiedämme asiasta?), sekä ‘’’tulos’’’ (mikä on paras tähänastinen vastaus tutkimuskysymykseen?). Näiden ongelmien kuvaukset rakennetaan nettisivuille, ja jokainen voi ottaa osaa lukemalla tai muokkaamalla aivan kuten Wikipediaa. Huomattavaa on, että kaikki omistavat lopputuloksen, joten alkuperäisillä kirjoittajilla ei ole tekijänoikeuksia tai oikeutta estää uusia muokkauksia.

Tieto-olioidien rakenne voidaan yhdenmukaistaa kuin-fraktaaliksi: objektilla, jolla on tutkimuskysymys, voi olla myös alakysymyksiä, joita voidaan käsitellä omina objekteinaan ja keskustelu aiheesta voidaan jakaa useisiin pienempiin keskusteluihin ala-aiheista. Esimerkiksi voi olla muuttuja Euroopan väkiluku, jossa tulos on jäsennetty maittain. Kuitenkin tiedon voisi jakaa useampiin pienempiin väkilukumuuttujiin vaikkapa niin, että jokaisella maalla olisi oma - esimerkiksi muodossa Suomen väkiluku. Se, kuinka tieto jaetaan tai kerätään muuttujiksi on maku- ja käytännönasia eikä objektiivisia sääntöjä ole. Sen sijaan säännöt sanovat, että jos kaksi muuttujaa leikkaavat, täytyy tietojen olla yhteneviä. Teoriassa tieto-olion laajuuden rajoja ei ole määritelty. Trialogi on termi, jolla kuvataan Wikipedia-tyylistä osallistumista. Trialogi painottaa, että dialogin ja keskustelun lisäksi suuri osa kommunikaatiosta ja oppimisesta ryhmään kuuluvien yksilöiden välillä tapahtuu tieto-olioidien, tässä tapauksessa Opasnetin sivujen kautta. Toisin sanoen ihmiset eivät vain lue tai puhu aiheesta, vaan oikeastaan kehittävät tieto-oliota, joka kuvastaa ryhmän yhteistä ymmärrystä. Wikipedia on kuuluisa esimerkki trialogisesta lähestymistavasta, vaikka wikipedistit eivät sanaa käytäkään.

Esimerkki muuttujasta.

Ryhmät ovat välttämättömiä avoimessa arvioinnissa, koska kaikki tutkimuskysymykset ovat (implisiittisesti) muutettu muotoon “Mitä voimme ryhmänä tietää asiasta X?”. Tiettyä aihetta miettivä ryhmä voidaan kuvata tarkasti, mutta se voi olla myös epämääräinen. Jälkimmäisessä tapauksessa se yleensä tarkoittaa ‘’ketä tahansa, joka haluaa osallistua’’ tai mahdollisesti ‘’koko ihmiskuntaa’’. Tiedon käyttötarkoitus on tärkeä, sillä se antaa voimaa koko arvioinnille. Mitään ei tehdä vain huvikseen (vaikka se onkin täysin pätevä motivaatio), vaan koska tietoa tarvitaan johonkin käytännölliseen, tarkkaan käyttöön. Tietenkin arviointeja tehdään myös järkeistämään päätöksiä, mutta avoimia arviointeja arvioidaan koko ajan käyttötarkoituksen mukaan; tätä tehdään arvioinnin ohjaamiseksi ja arviointi lopetetaan, kunhnan sen tarkoitus on täytetty. Avoin arviointi pyrkii olemaan looginen metodologia. Kaikki avoimen arvioinnin metodologiassa, kuten kaikessa avoimen arvioinnin työstössä, hyväksytään tai jätetään hyväksymättä riippuen havainnoista ja järkeilystä. Kuitenkin kaiken takana on muutama periaate, joita ei voida todentaa havainnoilla. Näitä kutsutaan avoimen arvioinnin alkuehdoiksi. Nämä kuusi alkuehtoa, jotka ovat Karteesialaista alkuperää, ovat seuraavat: Todellisuus on olemassa;; Todellisuus on jatkumo, jossa ei tapahdu esimerkiksi yhtäkkisiä ilmaantumisia tai katoamisiailman järkevää syytä; Voin ajatella järkevästi; Voin tutkia sekä käyttää tuloksi ja järkeilyä oppiakseni todellisuudesta; Yksilöt (kuten minä) voivat kommunikoida ja jakaa tietoa todellisuudesta.; Jokainen ei ole systemaattinen valehtelija.

Perusmenetelmät

Päättelysääntöjä käytetään päättämään, mitä uskotaan. Säännöt voidaan tiivistää seuraavasti:

1. Kuka tahansa voi tuoda esiin minkä tahansa väitteen sanoen, että se on totta.
2. Esiintuodun väitteen oletetaan olevan tosi, ellei sitä uskottavasti näytetä vääräksi.
3. Väitteen todenmukaisuus on aina suhteellista; tietty ryhmä joko on tai ei ole vakuuttunut.
4. Väitteellä on piiri, jossa sitä voidaan soveltaa. Oletusarvoisesti tieteellistä väitettä voidaan soveltaa koko maailmankaikkeudessa ja moraalista väitettä sellaisen ryhmän keskuudessa, joka kokee sen todeksi.
5. Kaksi saman ryhmän esittämää moraalista väitettä voivat olla ristiriidassa vain, jos niiden sovellusten piirit eivät risteä.
6. Jonkin väitteen todenmukaisuudesta voi olla epävarmuutta (tai moraalisen väitteen kohdalla siitä, pitäisikö sen olla todenmukainen). Tämä voidaan mitata määrällisesti subjektiivisen todennäköisyyden avulla.
7. Näiden päättelysääntöjen lisäksi voi olla muitakin sääntöjä, jotka auttavat päättämään, mitä ryhmän tulisi uskoa. Säännöt ovat myös väitteitä ja ne voidaan todistaa oikeiksi tai vääriksi, kuten kaikki väitteet.
8. Jos saman ryhmän kaksi ihmistä esittävät ristiriitaiset väitteet, ovat väitteet a priori -uskomuksen mukaan yhtä todennäköisesti tosia.
9. A priori -uskomukset muutetaan a posteriori -uskomuksiksi havaintojen (tieteellisen väitteen tapauksessa) tai mielipiteiden (moraalisen väitteen tapauksessa) ja jaettujen sääntöjen mukaisen avoimen kritiikin perustella. Käytännössä tämä tarkoittaa tieteellisen metodin käyttöä. Jokaisen ihmisen mielipiteelle annetaan sama painoarvo.

Avoimen arvioinnin kerrokset kuvaavat tyypillisiä avoimen arvioinnin työvaiheita. Näitä kerroksia on kolmet:

• Kerros I: Arvioinnin kysymyksen ja käyttötarkoituksen määrittely.
• Kerros II: Päätöskriteerien määrittely.
• Kerros III: Informaation tuottaminen.

On huomattavaa, että nämä kolme kerrosta muistuttavat läheisesti integroidun ympäristöterveyden vaikutusarvioinnin kolmea ensimmäistä vaihetta, mutta neljäs vaihe (arviointi) ei ole erillinen kerros avoimessa arvioinnissa. Sen sijaan arvioiminen ja informaation käyttö tapahtuu kaikissa kerroksissa jatkuvana ja toistuvana prosessina. Tämän lisäksi kerroksissa on yhtäläisyyksiä op_en:BRAFO-projektin kehittämiin lähestymistapoihin.

Esimerkki keskustelusta.

On selvää, että itseorganisoituneessa ryhmässä kaikki eivät ole samaa mieltä kaikista tieteellisistä ja moraalisista väittämistä. Hyvä uutinen on, ettei sitä odoteta eikä toivotakaan. On olemassa vahvoja mutta yksinkertaisia sääntöjä erimielisyyksien ratkaisemiseksi, lähinnä järjestäytyneen [Keskustelu|keskustelun] säännöt. Suoraviivaisissa tapauksissa keskustelu voi olla epämuodollista, mutta monimutkaisemmissa ja kiivaammissa tilanteissa pätevät seuraavat säännöt:

1. Jokaisen keskustelun lähtökohtana on yksi tai useampi väittämä. Näiden väittämien todenmukaisuus on keskustelun aihe.
2. Väittämä on tosi, ellei sitä vastaan hyökätä todella argumentilla.
3. Väittämiä voidaan puolustaa tai niitä vastaan hyökätä argumenteilla. jotka ovat itsessään pienempien keskustelujen väittämiä. Täten muodostuu puolustavien ja hyökkäävien argumenttien hierarkia.
4. Keskustelun ratkettua kaikkien tosien väittämien sisältö sisällytetään informaatio-olioon. Kaikki ratkaisut ovat aina väliaikaisia ja kuka tahansa saa avata keskustelun uudelleen. Oikeastaan keskustelun ratkeaminen ei tarkoita muuta kuin tilannetta, jossa senhetkiset todet väitteet sisällytetään asianmukaiseen informaatio-olioon.

Avointa arviointia tukevat teknilliset toiminnallisuudet

Opasnet on verkkotyötila avointen arviointien tekemiseen. Opasnetin käyttöliittymä on wiki-pohjainen ja se muistuttaakin monella tapaa wikipediaa, vaikka siinä onkin korostettu monia ominaisuuksia avoimen arvioinnin tekemistä varten. Yksi perusideoista on, että kaikki arviointia varten tehtävä työ voidaan toetuttaa käyttämällä yhtä käyttöliittymää. Kaikki tarpeellinen arvioinnin aloittamiseksi ja siihen osallistumiseksi on siis tarjolla, oli työ sitten informaation keräämistä, numeerista mallittamista, keskustelua, tilastoanalyysiä alkuperäisestä datasta, alkuperäisten tutkimustulosten julkaisemista, tarkistusarviointia, organisointia ja töiden jakamista tai tulosten jakamista päätöksentekijöille.

Käytönnössä Opasnet on nimitys monelle muullekin toiminnallisuudelle kuin wiki, mutta wiki-käyttöliittymän takia Opasnetiä käytetään usein Opasnet wikin synonyyminä. Monia muitakin toiminnallisuuksia on, kuten alla on listatukin. Tämän aiheen pääartikkeli on op_en:Opasnet structure.

Muuttujista suurimman osan tulokset ovat numeerisia. Ne ovat usein epävarmoja ja ilmaistaan todennäköisyysjakaumina. Nettisivu on epäkäytännöllinen paikka säilyttää ja käsitellä tällaista tietoa. Tätä tarkoitusta varten käytetään tietokantaa nimeltä Opasnet tietokanta. Tämä luo hyvin joustavan säilytysalustan ja melkein mitä tahansa tuloksia voidaan ilmaista kaksiuloitteisilla taulukoilla, jotka tallennetan Opasnet tietokantaan. Muuttujien tulokset voidaan saada käsiin vastaavalta Opasnetin sivulta. Opasnettiä voidaan käyttää lataamaan uusia tuloksia tietokantaan. Edelleen, jos yksi muuttuja (B) on jotenkin riippuvainen toisesta muuttujasta (A), voidaan A:n tulokset automaattisesti hakea ja käyttää B:n tulokseen käytetävissä kaavoissa.

Koska Opasnet tietokanta sisältää otteita monenlaisista muuttujista, se on itse asiassa hyvin laaja Bayesian belief network, jota voidaan käyttää arviointi-tason analyyseihin ja ehdollistamaan ja optimoimaan erilaisia päätösmahdollisuuksia. Optimaalisen päätösmahdollisuuden löytämisen lisäksi Opasnet tietokantaa voidaan käyttää tiettyyn päätökseen liittyvän muun tiedon arvioinnissa. Tämä tilastollinen metodi on nimeltään op_en:Value of information.

Opasnetissä on mallinnustyökaluja numeerisille malleille. Se on objektipainotteinen toiminnallisuus, joka toimii R-tilasto-ohjelmistolla ja käyttää tuloksia Opasnet tietokannasta. Jokainen informaatio-olio (yleensä muuttuja) sisältää kaavan, jossa on yksityiskohtaiset ohjeet siitä, miten sen tulokset lasketaan, usein perustuen mallin alemman tason muuttujiin.

Metatason toiminnallisuudet

Tosi-elämään asioihin liittyvän työn ja keskustelun lisäksi Opasnetissä on myös meta-taso. Meta-taso tarkoittaa, että Opasnetissä on keskustelua ja työtä Opasnetin itsnsä sisällöstä. Kaikkein näkyvin osa tätä on laatupalkki monen Opasnetin sivun oikeassa yläkulmassa. Vertaisluokitus tarkoittaa, että käyttäjiä pyydetään arvioimaan sivujen tieteellistä laatua ja hyödyllisyyttä asteikolla 0-100. Arvioijat voivat sitten käyttää tätä tietoa tietääkseen, mitä osia arvioinnista pitäisi kehittää, ja lukijat voivat saada selville, ovatko arviot sopivia heidän omaa käyttöään varten.

Käyttäjät saavat tehdä myös vertaisarviointeja sivuista. Ne ovat samalaisia, kuin tieteelliseten lehtien vertaisarvioinnit, joissa on kirjoitettua arviointia sisällön tieteellisestä laadusta. Toinen tapa tehdä kirjoitettu arvostelu ovat tunnustukset, joissa on kuvaus siitä, kuka on tehnyt mitäkin kyseiselle sivulle, ja mikä osa ansiosta pitäisi antaa kullekin osallistujalle.

Arvioita tieteellisestä laadusta, vertaisarviointeja ja tunnustuksia voidaan käyttää systemaattisesti laskemaan, paljonko kukin osallistuja on tehnyt Opasnetissä, vaikka nämä tavat eivät olekaan vielä hyvin kehittyneet: Osallistumispisteet ovat tähän mennessä ainoa systemaattinen metodi, jolla edes karkeasti arvioidaan arvioida osallistumista numeerisesti.

Arvostusteoria on metodi, jolla arvioidaan vapaasti käytettävissä olevien informaatio-olioiden arvoa jollekin ryhmälle. Tämä metodi on kehityksen kohteena ja se luo toivottavasti käytännön ohjeita arvostuksen jakamiseksi Opasnetin osallistujille.

Miksi avoin arviointi toimii?

Monet ihmiset suhtautuvat (ainakin aluksi) skeptisesti avoimen arvioinnin toimivuuteen. Osaksi tämä johtuu siitä, että lähestymistapa on uusi ja sitä ei ole vielä sovellettu ja hyväksytty laajasti. Suurin osa esimerkeistä on vain demonstraatio tarkoitukseen. Kuitenkin myös monia avointa arviointia puoltavia syitä voidaan keksiä:

• Kaikissa arvioinneissa on pula resursseista, mikä rajoittaa lopputuloksen laatua. Tärkeitä (ja kiisteltyjä) aiheita käsitellessä avoimen arvioinnin avaaminen kaikille tuo arviointiin uusia resursseja, kun kiinnostuneet vapaaehtoiset voivat osallistua.
• Avoimen arvioinnin säännöt mahdollistavat paljon uuden datan (joka voi olla ajoittain huono laatuista) järjestämisen korkealaatuiseen synteesiin uusien resurssien rajoissa.
• Ajatus tärkeän informaation jakamisesta - toimivan avoimen arvioinninedellytys - ei ole väkinäinen osallistujille, koska motivaatio avoimeen arviointiin tulee jaetusta toivosta yhteiskunnan parantamiseen, eikä rahallisesta hyödystä. Tämä ei ole kuten monilla muilla osa-alueilla, joilla informaatiomonopoleja ja tekijänoikeuksia tuetaan, jotta saadaan markkinoilla kilpailullista etua, mutta sivuvaikutuksena ilmaantuu tietomuureja.
• Liian kapea-alaisen alkuperäisen kysymyksen asettelun aiheuttamia ongelmia ei tule, koska useampi silmäpari tarkkailee työtä koko arvioinnin ajan.
• On helppoa systemaattisesti soveltaa tieteellisen metodin, lähinnä perusteluiden, havaintojen ja etenkin avoimen kritiikin periaatteita.
• Mikä tahansa aiempia arviointeja varten järjestetty tieto on heti valmiina käytettäväksi uudessa arvioinnissa vastaavanlaisesta aiheesta. Sekä datan keräämiseen kuluvat työtunnit että keräämiseen käytettävän ajan pituus vähenevät, siten tehden työskentelystä tehokkaampaa.
• Kaikki tieto on organisoitu standardiformaattiin, mitä mahdollistaa tehokkaiden metodien kehittämisen tiedonlouhintaa ja -muokkausta sekä yhtenäisyyden tarkastusta varten.
• On teknisesti helppoa estää pahansuopeat hyökkäykset arvioinnin sisältöä (Opasnet wikin aihe-sivulla) vastaan ilman, että aiheesta keskustelu-sivulla käytävää käytävää keskustelua tai kehittämistä tarvitsee rajoittaa; keskustelujen ratkaisun voi ladata aihe-sivulle vain luotettu ylläpitäjä.

Nämä seikat tukevat sitä, että avoin arviointi (tai samanlaisia periaatteita käyttävät lähestymistavat) tulee valtaamaan suurimman osan informaationtiotosta motivaationaan yhteiskunnan tarpeet ja yhteiskunnallisen päätöksenteon parantaminen. Tämän argumentin vahvuus näkyy jo yhteiskunnallisen kanssakäymisen aloitteellisuudessa mm. Wikipediassa ja Facebookissa. Kuitenkin myös taloudellisia puolia on: avointa arviointia on halvempi toteuttaa ja helpompi hyödyntää sekä tuottaa korkeamman luokan tuloksia kuin tämänhetkiset vaihtoehtoiset tavat tuottaa yhteiskunnallisesti tärkeää informaatiota

Avainsanat

Opasnet, avoin arviointi, yhteistyö, massayhteistyö, verkkotyötila, muuttuja, arviointi, informaatio olio, väite, totuudenmukaisuus, keskustelu, ryhmä