Avoin arviointi
Tämä sivu on ensyklopedia-artikkeli.
Sivutunniste: Op_fi1725 |
|---|
| Moderaattori:Joppe (katso kaikki)
Sivun edistymistä ei ole arvioitu. Arvostuksen määrää ei ole arvioitu (ks. peer review). |
| Lisää dataa
|
<section begin=glossary /> Avoimeen arviointiin liittyvän nettityötilan kuvaus löytyy sivulta Opasnet.
- Avoin arviointi on toimintamalli, joka pyrkii vastaamaan seuraavaan tutkimuskysymykseen ja soveltamaan vastauksen käytännön arviointeihin: Kuinka tieteellistä informaatiota ja arvovalintoja voi käyttää parantaakseen yhteisön päätöksentekoa tilanteessa, jossa osallistuminen on kaikille avointa?
- Käytännössä arviointiprosessit on suoritettu käyttämällä Internetin työkaluja (erityisesti Opasnetiä) perinteisempien työkalujen rinnalla. Päätöksentekijät ja asiasta kiinnostuneet ihmiset voivat osallistua, kommentoida ja muokata sisältöä sen kehittyessä prosessin alkuvaiheista asti. Avoin ariointi sisällyttää täsmällisesti arvovalinnat, siten laajentaen menetelmänsä perinteisen riskinarvioinnin piiristä riskinhallinnan areenalle. Se kuitenkin pohjautuu selkeälle tietorakenteelle ja tieteelliselle metodologialle tarjotakseen selkeät säännöt erimielisyyksien käsittelyyn. Arvovalinnat siis läpäisevät saman avoimen kritiikin kuin tieteelliset väitteet; suurin ero on, että tieteelliset väitteet perustuvat havaintoihin, kun taas arvovalinnat yksilöiden mielipiteisiin.
Kuten muutkin termit arvioinnin alalla, "avoin arviointi" on aiheena sekaannusta aiheuttava. Siksi lienee hyödyllistä erotella selvästi seuraavat:
- Avoimen arvioinnin metodologia
- Avoimen arvioinnin prosessi - ts. varsinainen mekanismi, jolla avoimet arvioinnit toteutetaan
- Avoimen arvioinnin tulos tai raportti - ts. prosessin lopputulos
Varmistaakseen selkeyden, avoin arviointi myös pyrkii käyttämään termejä hyvin täsmällisesti. Siksipä seuraavassa yhteenvedossa on linkkejä lisätietoon monista termeistä ja käsitteistä, sekä niiden määritelmistä. <section end=glossary />
Avoin arviointi metodologiana
Avoin ariointi on rakennettu useiden erilaisten metodien ja periaatteiden pohjalle, jotka yhdessä muodostavat johdonmukaisen tiedon keräämisen, järjestämisen, yhdistämisen ja käyttämisen järjestelmän. Nämä metodit ja periaatteet ovat lyhyesti tiivistetty täällä. Tarkempi selvitys siitä, miksi juuri näitä metodeja käytetään ja tarvitaan löytyy (englanniksi) sivulta [en: Open assessment method]. Lisäksi jokaiselle [Metodi|metodille] ja periaatteelle löytyy oma sivu Opasnetistä.
Tarkoitus
Avoimen arvioinnin perusajatus on kerätä päätöksentekoprosessiin tarvittava tieto. Tämä tieto on järjestetty arvioinniksi, joka ennustaa erilaisten päätösvaihtoehtojen vaikutukset tiettyjen pohjalta. Tieto on järjestetty sille tarkkuudelle, mikä on tarpeellista päätöksentekijöitä ajatellen. Arviointi on tyypillisesti kvantitatiivinen malli siitä, kuinka tehty päätös vaikuttaa olennaisiin asioihin ja lopputuloksiin. Päätökset, lopputulokset ja muut ongelmat on mallinnettu erillisinä arvioinnin osina, joita kutsutaan muuttujiksi. Käytännössä arvioinnit ja muuttujat ovat Web-sivuja Opasnetissä, näiden arviointien tekemiseen omistautuneessa työtilassa. Tällainen Internet-sivu sisältää kaiken tiedon (tekstin, numeeriset arvot ja ohjelmistokoodin), joka tarvitaan arviointimallin osan kuvaamiseen ja ajamiseen tietokoneohjelmalla.
Peruskäsitteet
Näitä sivuja kutsutaan myös, koska ne ovat tavallisin tapa käsitellä tietoa pienissä paloissa arviointia. Jokainen objekti (tai sivu) sisältää informaatiota tietystä asiasta. Jokaisella sivulla on myös sama: ‘’’rajaus’’’ (mistä on kyse?), ‘’’määritelmä’’’ (mitä tiedämme asiasta?), sekä ‘’’tulos’’’ (mikä on paras tähänastinen vastaus tutkimuskysymykseen?). Näiden ongelmien kuvaukset rakennetaan nettisivuille, ja jokainen voi ottaa osaa lukemalla tai muokkaamalla aivan kuten Wikipediaa. Huomattavaa on, että kaikki omistavat lopputuloksen, joten alkuperäisillä kirjoittajilla ei ole tekijänoikeuksia tai oikeutta estää uusia muokkauksia.
Tieto-olioidien rakenne voidaan yhdenmukaistaa kuin-fraktaaliksi: objektilla, jolla on tutkimuskysymys, voi olla myös alakysymyksiä, joita voidaan käsitellä omina objekteinaan ja keskustelu aiheesta voidaan jakaa useisiin pienempiin keskusteluihin ala-aiheista. Esimerkiksi voi olla muuttuja Euroopan väkiluku, jossa tulos on jäsennetty maittain. Kuitenkin tiedon voisi jakaa useampiin pienempiin väkilukumuuttujiin vaikkapa niin, että jokaisella maalla olisi oma - esimerkiksi muodossa. Se, kuinka tieto jaetaan tai kerätään muuttujiksi on maku- ja käytännönasia eikä objektiivisia sääntöjä ole. Sen sijaan säännöt sanovat, että jos kaksi muuttujaa leikkaavat, täytyy tietojen olla yhteneviä. Teoriassa tieto-olion laajuuden rajoja ei ole määritelty. Trialogi on termi, jolla kuvataan Wikipedia-tyylistä osallistumista. Trialogi painottaa, että dialogin ja keskustelun lisäksi suuri osa kommunikaatiosta ja oppimisesta ryhmään kuuluvien yksilöiden välillä tapahtuu tieto-olioidien, tässä tapauksessa Opasnetin sivujen kautta. Toisin sanoen ihmiset eivät vain lue tai puhu aiheesta, vaan oikeastaan kehittävät tieto-oliota, joka kuvastaa ryhmän yhteistä ymmärrystä. Wikipedia on kuuluisa esimerkki trialogisesta lähestymistavasta, vaikka wikipedistit eivät sanaa käytäkään.
Ryhmät ovat välttämättömiä avoimessa arvioinnissa, koska kaikki tutkimuskysymykset ovat (implisiittisesti) muutettu muotoon “Mitä voimme ryhmänä tietää asiasta X?”. Tiettyä aihetta miettivä ryhmä voidaan kuvata tarkasti, mutta se voi olla myös epämääräinen. Jälkimmäisessä tapauksessa se yleensä tarkoittaa ‘’ketä tahansa, joka haluaa osallistua’’ tai mahdollisesti ‘’koko ihmiskuntaa’’. Tiedon käyttötarkoitus on tärkeä, sillä se antaa voimaa koko arvioinnille. Mitään ei tehdä vain huvikseen (vaikka se onkin täysin pätevä motivaatio), vaan koska tietoa tarvitaan johonkin käytännölliseen, tarkkaan käyttöön. Tietenkin arviointeja tehdään myös järkeistämään päätöksiä, mutta avoimia arviointeja arvioidaan koko ajan käyttötarkoituksen mukaan; tätä tehdään arvioinnin ohjaamiseksi ja arviointi lopetetaan, kunhnan sen tarkoitus on täytetty. Avoin arviointi pyrkii olemaan looginen metodologia. Kaikki avoimen arvioinnin metodologiassa, kuten kaikessa avoimen arvioinnin työstössä, hyväksytään tai jätetään hyväksymättä riippuen havainnoista ja järkeilystä. Kuitenkin kaiken takana on muutama periaate, joita ei voida todentaa havainnoilla. Näitä kutsutaan avoimen arvioinnin alkuehdoiksi. Nämä kuusi alkuehtoa, jotka ovat Karteesialaista alkuperää, ovat seuraavat: Todellisuus on olemassa;; Todellisuus on jatkumo, jossa ei tapahdu esimerkiksi yhtäkkisiä ilmaantumisia tai katoamisiailman järkevää syytä; Voin ajatella järkevästi; Voin tutkia sekä käyttää tuloksi ja järkeilyä oppiakseni todellisuudesta; Yksilöt (kuten minä) voivat kommunikoida ja jakaa tietoa todellisuudesta.; Jokainen ei ole systemaattinen valehtelija.
Perusmenetelmät
Päättelysääntöjä käytetään päättämään, mitä uskotaan. Säännöt voidaan tiivistää seuraavasti:
- Kuka tahansa voi tuoda esiin minkä tahansa [:op_en:Statement|väitteen] sanoen, että se on totta.
- Esiintuodun väitteen oletetaan olevan tosi, ellei sitä uskottavasti näytetä vääräksi.
- Väitteen todenmukaisuus on aina suhteellista; tietty ryhmä joko on tai ei ole vakuuttunut.
- Väitteellä on piiri, jossa sitä voidaan soveltaa. Oletusarvoisesti tieteellistä väitettä voidaan soveltaa koko maailmankaikkeudessa ja moraalista väitettä sellaisen ryhmän keskuudessa, joka kokee sen todeksi.
- Kaksi saman ryhmän esittämää moraalista väitettä voivat olla ristiriidassa vain, jos niiden sovellusten piirit eivät risteä.
- Jonkin väitteen todenmukaisuudesta voi olla epävarmuutta (tai moraalisen väitteen kohdalla siitä, pitäisikö sen olla todenmukainen). Tämä voidaan mitata määrällisesti subjektiivisen todennäköisyyden avulla.
- Näiden päättelysääntöjen lisäksi voi olla muitakin sääntöjä, jotka auttavat päättämään, mitä ryhmän tulisi uskoa. Säännöt ovat myös väitteitä ja ne voidaan todistaa oikeiksi tai vääriksi, kuten kaikki väitteet.
- Jos saman ryhmän kaksi ihmistä esittävät ristiriitaiset väitteet, ovat väitteet ‘’’a priori’’’ -uskomuksen mukaan yhtä todennäköisesti tosia.
- ‘’’A priori’’’ -uskomukset muutetaan ‘’’a posteriori’’’ -uskomuksiksi havaintojen (tieteellisen väitteen tapauksessa) tai mielipiteiden (moraalisen väitteen tapauksessa) ja jaettujen sääntöjen mukaisen avoimen kritiikin perustella. Käytännössä tämä tarkoittaa tieteellisen metodin käyttöä. Jokaisen ihmisen mielipiteelle annetaan sama painoarvo.
Avoimen arvioinnin kerrokset kuvaavat tyypillisiä avoimen arvioinnin työvaiheita. Näitä kerroksia on kolmet:
- Kerros I: Arvioinnin kysymyksen ja käyttötarkoituksen määrittely.
- Kerros II: Päätöskriteerien määrittely.
- Kerros III: Informaation tuottaminen.
On huomattavaa, että nämä kolme kerrosta muistuttavat läheisesti integroidun ympäristöterveyden vaikutusarvioinnin kolmea ensimmäistä vaihetta, mutta neljäs vaihe (arviointi) ei ole erillinen kerros avoimessa arvioinnissa. Sen sijaan arvioiminen ja informaation käyttö tapahtuu kaikissa kerroksissa jatkuvana ja toistuvana prosessina. Tämän lisäksi kerroksissa on yhtäläisyyksiä op:en:BRAFO-projektin kehittämiin lähestymistapoihin.
On selvää, että itseorganisoituneessa ryhmässä kaikki eivät ole samaa mieltä kaikista tieteellisistä ja moraalisista väittämistä. Hyvä uutinen on, ettei sitä odoteta eikä toivotakaan. On olemassa vahvoja mutta yksinkertaisia sääntöjä erimielisyyksien ratkaisemiseksi, lähinnä järjestäytyneen [Keskustelu|keskustelun] säännöt. Suoraviivaisissa tapauksissa keskustelu voi olla epämuodollista, mutta monimutkaisemmissa ja kiivaammissa tilanteissa pätevät seuraavat säännöt:
- Jokaisen keskustelun lähtökohtana on yksi tai useampi väittämä. Näiden väittämien todenmukaisuus on keskustelun aihe.
- Väittämä on tosi, ellei sitä vastaan hyökätä todella argumentilla.
- Väittämiä voidaan puolustaa tai niitä vastaan hyökätä argumenteilla. jotka ovat itsessään pienempien keskustelujen väittämiä. Täten muodostuu puolustavien ja hyökkäävien argumenttien hierarkia.
- Keskustelun ratkettua ‘’’kaikkien’’’ tosien väittämien sisältö sisällytetään informaatio-olioon. Kaikki ratkaisut ovat aina väliaikaisia ja kuka tahansa saa avata keskustelun uudelleen. Oikeastaan keskustelun ratkeaminen ei tarkoita muuta kuin tilannetta, jossa senhetkiset todet väitteet sisällytetään asianmukaiseen informaatio-olioon.