R-tools

> wiki_username <- "Jouni"
> # This is code / on page [[Op_fi:Suomen liikennejärjestelmä kehittäminen 2017]]
> library(OpasnetUtils)
> library(ggplot2)
> library(plyr)
> dat <- opasnet.data("4/47/Bernerin_liikenneuudistusuutisointi_Yle_2017.txt", wiki = "opasnet_fi")#, sep = "\n")#encode = "UTF-8")
> dat <- unlist(strsplit(dat, split = "\r\n"))
> dat <- dat[!dat %in% c(
+ "Pääuutiset",
+ "Lue seuraavaksi",
+ "Kirjaudu",
+ "Valikko",
+ "Lue myös:",
+ "Loading…",
+ ".",
+ ""
+ )]
> links <- grep("http://", dat)
> titl <- substr(sort(dat[links+1]), 1, 20)
> titl[duplicated(titl)]

> d <- data.frame(
+ Linkki = dat[links],
+ Otsikko = dat[links+1],
+ Ingressi = dat[links+2],
+ Aika = dat[links+3],
+ stringsAsFactors = FALSE
+ )
> d$Aika <- substring(d$Aika, nchar(d$Aika)-19)
> d$Aika <- as.POSIXct(strptime(d$Aika, format = "%d.%m.%Y klo %H:%M"))
> lop <- c(links[2:length(links)], length(dat)) - 1
> temp <- paste("[", 1:length(dat) , "] ", dat, sep = "")
> d$Uutinen <- sapply(1:length(links), FUN = function(x) {paste(temp[(links[x]+4):lop[x]], collapse = " ")})
> luok <- opbase.data(
+ "Op_fi5698",
+ subset = "Uutisten jaottelut tietotyön tyyppien mukaan"
+ )
> luok$Tyyppi <- as.character(luok$Tyyppi)
> head(luok$Tyyppi)

> d <- cbind(d, luok)
> #d$Tyyppi[d$Result == " (ehdotuksen vaikutukset)"] <- "Asia, ehdotuksen vaikutukset"
> d$Pituus <- nchar(d$Uutinen)
> d <- merge(d, aggregate(d$Pituus, by = d["Tyyppi"], FUN = sum))
> colnames(d)[colnames(d) == "x"] <- "Kokpituus"
> d <- merge(d, aggregate(d$Pituus, by = d["Tyyppi"], FUN = length))
> colnames(d)[colnames(d) == "x"] <- "Kokmäärä"
> ggplot(d[!d$Tyyppi %in% c("Ei liity", "Info") & d$Aika > as.POSIXct("2017-01-16") , ],
+ aes(x = Aika, colour = Tyyppi))+
+ geom_step(aes(Kokpituus = Kokpituus, y = ..y.. * Kokpituus/2000), stat = "ecdf", size = 2)+
+ labs(title = "Liikennejärjestelmäehdotuksen uutisointi tietotyypeittäin", y = "Sivua tekstiä")+
+ theme_gray(base_size = 24)
> ggplot(d[!d$Tyyppi %in% c("Ei liity", "Info") & d$Aika > as.POSIXct("2017-01-16") , ],
+ aes(x = Aika, colour = Tyyppi))+
+ geom_step(aes(Kokmäärä = Kokmäärä, y = ..y.. * Kokmäärä), stat = "ecdf")+
+ labs(title = "Liikennejärjestelmäehdotuksen uutisointi tietotyypeittäin", y = "Kpl uutisia")+
+ theme_gray(base_size = 24)