Lähdekoodi sivulle Big data 2: Johdanto

== Johdanto ==

4 00 000 000 000 000 000 000 tavua eli 4,4 zettatavua oli tutkimusyhtiö IDC:n mukaan eri laitteiden luomasta ja tallennetusta digitaalisen datasta muodostuvan niin sanotun digitaalisen avaruuden koko vuonna 2013.  Tablettien,  älypuhelinten ja muiden mobiililaiteiden, erilaisten asiakastieto- ja maksujärjestelmien, internetissä toimivien videopalveluiden ja sosiaalisen median, teollisuuden ja liikenteen uusien sensorijärjestelmien yleistymisen ja lisääntyvän käytön seurauksena digitaalinen avaruus kasvaa vuosittain 40 %:lla eli kymmenkertaiseksi vuoteen 2021 mennessä.

Teknologisen kehityksen ja siihen liittyen etenkin pilvipalveluiden kehityksen seurauksena digitaalisen tiedon tallennus- ja prosessointikustannukset ovat laskeneet jopa sadasosiin kymmenen vuoden takaisista kustannuksista. Nämä kehitystrendit yhdessä uusien digitaalista tietoa käsittelevien laskentamenetelmien kehityksen kanssa ovat tuoneet suurten data-aineistojen hyödyntämismahdollisuudet myös muiden kuin suuryritysten ulottuville. Hyödyntämismahdollisuuksien etsintää ja kehitystä on lisännyt vielä tiedon viestintäteknologioiden ja viestintäverkkojen muassaan tuoma reaaliaikaisen käsittelyn ja siihen liittyvän päätöksenteon – yhä useammin automaattisen päätöksenteon  - reaaliaikaisuuden mahdollisuus.  

Erittäin suurten tietomassojen hyödyntämistä koskevan yhteiskunnallisen ja taloudellisen keskusten yhtenä merkkipaaluna voidaan pitää konsulttiyhtiö McKinseyn vuonna 2011 julkaisemaa tutkimusta ”Big data: The next frontier for innovation, competition and productivity”. Tutkimus arvioi big datan hyödyntämisen potentiaalisen vuosittaisen arvon Yhdysvaltojen terveydenhuollolle 300 miljardiksi dollariksi ja EU-alueen julkiselle sektorille 250 miljardiksi euroksi. ’ Poliittisesti huomionarvoista oli myös tutkimuksen lupaus uusista työpaikosta: Pelkästään Yhdysvalloissa töitä on luvassa 140 000 – 190 000 data-analyytikolle. McKinseyn ohella myös muut suuret tutkimus- ja konsulttiyhtiöt pitävät big dataa yhtenä  lähivuosien tärkeimmistä teknologisista trendeistä.  

Big datan suuri yhteiskunnallinen lupaus on siirtynyt nopeasti myös eri maiden ja organisaatioiden poliittisille agendoille. Yhdysvalloissa Obaman hallinto julkaisi vuonna 2012  Big Data Research and Development Initiative –ohjelman, joka eri hallinnonalojen hankkeiden kautta pyrkii edesauttamaan maan teknologisen edelläkävijäaseman säilyttämistä myös big data –alueella.  Samaan tähtää myös hallituksen äskettäin julkaisema Big Data and Future of Privacy- julkaisu , joka hakee ratkaisuja big dataan liittyviin juridisiin ja eettisiin kysymyksiin.  Englannissa istuva hallitus on asiantuntija-arvioiden pohjalta määritellyt big datan yhdeksi kahdeksasta maan taloudellisen tulevaisuuden kannalta keskeisistä teknologiasta. Tähän liittyen hallitus julkaisi vuonna 2013 myös huomattavia investointilupauksia sisältävän toimenpideohjelman ”Seizing the data opportunity – A strategy for UK data capability”. (https://www.gov.uk/government/uploads/system/uploads/attachment_data/file/254136/bis-13-1250-strategy-for-uk-data-capability-v4.pdf) 

Datan hyödyntämismahdollisuudet ja big data ovat nousseet vahvasti esille EU:n Digitaaliseen Agendaan ja uuteen Horizon –ohjelmaan liittyvissä hankkeissa. Samoin on laita OECD:n toiminnassa ja erityisesti New Sources of Growth: Knowlwedge-Based Capital – teemaan liittyvissä projelteissa ja selvityksissä.     

Digitaalisaation ja sen merkittävänä osana big datan mahdollisuuksiin on luonnollisesti avainkysymys myös suomalaisen elinkeinoelämän ja koko yhteiskunnan tulevalle kehitykselle. Big dataan liittyvät distruptioilmiöt yhtäältä ravistelevat myös suomalaisia yrityksiä ja niiden toimintaympäristöä, mutta toisaalta avaavat myös uusia mahdollisuuksia kilpailukyvyn, kilpailedun ja uusien liitetoimintojen kehittämiseen.

Suomella hyvät edellytykset vastata big datan haasteeseen: Kansainvälisisten vertailututkimusten mukaan Suomi on maailman digitaalisesti edistyneimpien maiden joukossa erityisesti mitä tulee teknisiin valmiuksiin.  Suomessa on esimerkiksi korkeatasoiset digitaaliset perusrekisterit ja myös runsaasti osaamista, jonka päälle voidaan suhteellisen nopeasti rakentaa kilpailukykyista big data -osaamista. 

[[File:variety-of-big-data-sources-kapow-software-lg.png|thumb|left|200px|Big datan lähteitä Kapowin mukaan]]
Yhteisesti jaettua ja täysin yksiselittäistä määrittelyä ei termille ole. Useimmiten käytetään kolmen V:n määritelmää, jolla viitataan sekä datan määrään (volume),syntyvauhtiin (velocity) sekä erilaiseen, struktoroimattomaan dataan (variety).   Eri näkökulmista, muun muassa eri palveluntarjoajien määritelmissä,  painotetaan ilmiön eri puolia. Esimerkikisi Intel määrittelee big datan puhtaasti koon (mediaaniarvona 300tb dataa viikottain), Microsoft lähestyy asiaa analyysin vaadittavien monimutkaisten menetelmien kautta. Lisäksi termiä voitaisiin lähestyä myös analyysiin käytettävien työkalujen kautta . (Mm. Hadoop)  

Big Datan voi käsittää myös tietynlaisena tiedon paradigmanmuutoksena. Siirrytään yrityksissä ja hallinnossa tekemään päätöksiä suoraan ”mitattuun” tietoon perustuen. Tutkimuksessa ei välttämättä tarvitse samalla tavalla muodostaa teoriaa, kun voidaan käydä valtavia tietomassoja läpi ilman ennakko-oletuksia ja ns. ”löytää” malleja, yhteyksiä

Tässä strategiassa big dataa lähestytään määritelmän neljännen V:n, eli arvon sekä toiminnan kautta. Toiminta tarkoittaa tässä datan analysointia, käsittelyä ja hyödyntämistä erilaisiin käyttötarkoituksiin. Strategia ei siten keskitytä pelkästään massiivisten, esimerkiksi supertietokoneita analyysiin vaativiin reaaliaikaisiin tietomassoihin. Strategia kohdistuu myös käsittelymenetelmällisesti yksinkertaisempaan dataan ja erityisesti erilaisten tietoaineistojen yhdistelyyn. Ajatuksena on ollut tunnistaa ja löytää Suomen kannalta oleellisia alueita, joilla kerättävä tieto, uudet tiedonkäsittelymenetelmät ja  laajempi tiedon hyödyntäminen voivat tuoda arvoa. Strategian tavoitteet ja toimet kohdistuvat niin yksityiseen kuin julkiseen sektoriin.

Lähtökohtana big datasta saatavien yhteiskunnallisten ja taloudellisten hyötyjen kannalta nähdään tarve laajalle yhteistyölle. Data-aineistot sijaitsevat erilaisten organisaatioiden ja instituutioiden huomassa, joiden yhdistelystä ja soveltamisesta syntyy arvoa. Laajan yhteistyön tarve kohdistuu siten niin hallinnon, yritysten kuin esimerkiksi järjestöjen ja kansalaisten kesken. 


'''Big Data-strategioita maailmalla'''

Euroopan ja Suomen kehityksen katsotaan tulevan muutaman vuoden jäljessä kansainvälisesti suuria big datan hyödyntäjämaita, erityisesti USA:ta. 

Strategioiden tarkastelussa huomaa, että eri maissa alan kehitykseen sekä muun muassa säästöjen ja kilpailukyvyn kannalta big data nähdään yhtenä oleellisimmista kehityskuluista. Niinpä monissa maissa alalle laitetut panostukset ovat mittavia. Big data-kehityksen kärjessä kulkeminen nähty äärimmäisen tärkeänä. Big data-maailmassa kilpailu on todella kovaa ja investoinnit alalle suuria.

USA:ssa Obaman hallinto julkaisi toukokuun alussa uuden big dataa käsittelevän raportin. Raportissa big dataa tarkastellaan niin hallinnon kuin yritystenkin kannalta. Erityinen huomio raportissa on big dataan liittyvissä politiikkakysymyksissä. Erityishuomio kohdistetaan yksityisyyden suojaan. Tässä yhteydessä on tärkeä huomata, että eri maiden erilaiset lainsäädäntökehikot, jotka voivat osaltaan aiheuttaa haasteita big datan hyödyntämiseen liittyen.(http://www.whitehouse.gov/sites/default/files/docs/big_data_privacy_report_may_1_2014.pdf)

Alan kärkimaassa Yhdysvalloissa on taas panostettu pelkästään hallinnossa big data-kehitykselle satoja miljoonia dollareita. Big data-alalla toimivien yritysten suhteen maalla taas on selkeä etumatka esimerkiksi Eurooppaan verrattuna. Esimerkiksi Saksassa ja Ranskassa big data nähdään myös tiiviisti teollisuuden kilpailukyvyn avaintekijänä. Maat ovat huomioneet laajasti big datan teollisuuspolitiikassaan. Ranskassa big data kuuluu seitsemän tärkeimmän tulevaisuuden teknologian joukkoon. Strategioissa nähdään big datan tuovan hallinnolle pidemmällä tähtäimellä merkittäviä kehitys- ja säästömahdollisuuksia.

'''Suomen rooli big data kilpailussa?'''

Suomella on paljon vahvuuksia menestyä datan hyödyntämisessä. Yhtenä tämän strategian tehtävänä on nostaa esille sovellusalueita, joissa Suomella on selvästi potentiaalia löydettävissä datan hyödyntämisessä. Perinteisesti meillä on osaamista mm. lääketieteellisesssä tutkimuksessa, mobiiliteknologioissa, peliteollisuudessa ja ympäristömonitoroinnissa, jotka kaikki ovat hyvin dataintensiivisiä ja sen monimuotoiseen analyysiin perustuvia aloja. Toisaalta strategian avulla on kohdistettava toimia myös niihin yhteiskunnallisesti ja taloudellisesti merkittäviin alueisiin, missä olemme selkeästi kehityksessä jäljessä, mutta joista olisi saatavissa selkeitä hyötyjä.

Suomella on myös vahvaa menetelmä- ja it-osaamista, jota muuntamalla ja hyödyntämällä koulutuksen, tutkimuksen ja asiantuntemuksen jakamisen kautta saataisiin mukaan big data kehitystyöhön. 

Big datan hyödyntäminen julkisella sektorilla on vasta alkutekijöissään, mutta tarjoaa suuria mahdollisuuksia niin palvelujen kuin prosessienkin parantamiseen ja tehostamiseen sekä uusiin toimintatapoihin. Suomi on ollut edelläkävijämaita avoimessa datassa ja julkinen sektori avaa tietoaineistojaan vaihtelevaan tahtiin. Tätä avoimuuden ja hyvälaatuisten julkisten tietovarantojen saatavuuden kulttuuria tulisi hyödyntää myös big data kehitystyössä. Avoimen ja big datan, julkisten ja ykistyisten data-aineistojen yhdistelyssä piilee todella suuri potentaali.

Big datassa on huomioitava erityisesti erilaisten datojen vaatimukset datan käytön ja hallinnan suhteen. Esimerkiksi henkilötietona terveysdatan käsittely tarjoaa erilaisia käyttömahdollisuuksia kuin esimerkiksi laitteista saatava sensoridata (iOT). Suomi on hyvin korkean tietosuojan maa. Nykyisessä maailmassa tätä voidaan pitää uudenlaisena vahvuutena, jota ei saa vaarantaa.
Toisaalta korkealaatuinen viestintäinfrastruktuuri ja Suomen vahvuus mobiilipuolella antaa hyvän peruspohjan erilaiselle teolliseen internetiin ja internet-of-thingsiin liittyvälle kehitykselle. Tieteellisessä laskennassa ja tiedon käsitttelymenetelmien osaamisessa on myös yksi Suomen vahvuus.

===== Paluu pääsivulle =====
[[Big_Data_-strategia]]