Vad man kan göra med dokumentvektorer
Funderar på hur man kan använda algoritmen Doc2Vec som finns tillgänglig på Algorithmia. Min teori är att vektorer kan användas för att maskinellt bedöma kvaliteten i texter. Om hypotesen är korrekt kan man med hjälp av manuell betygssättning skapa ett underlag för att lära datorn vilka blogginlägg som är bra och vilka som inte är det.
Doc2Vec är en utvidgning av algoritmen Word2Vec som används för att få datorer att förstå innebörden i skriven text. Word2Vec skapar vektorer i 300 dimensioner som beskriver innebörden av ord. Om man tar vektorn för ordet "härskare" och subtraherar ordet "kung" får man alltså ordet "drottning".
Avståndet (likheten) mellan olika ord mäts med hjälp av skalärprodukten. Man kan alltså jämföra ord för att se vilka ord som till sin struktur är likartade.
Intressant nog går det att göra samma operation med hela textstycken, exempelvis blogginlägg. Algoritmen Doc2Vec kan användas för att ta fram skalärprodukten (cos(θ)) för två olika blogginlägg för att se om de är lika till sin struktur. I princip är Doc2Vec en aggregering av Word2Vec.
Nu återstår frågan - i vilken mån kan Doc2Vec förutsäga hur en mänsklig bedömare skulle se på ett blogginlägg? Säger skalärprodukten, alltså avståndet till andra blogginlägg, något om huruvida det är ett inlägg som kommer att bedömas vara av god kvalitet? Kommer "bra" blogginlägg att ligga närmare blogginlägg som bedömts som "bra" av mänskliga bedömare?
Har under sommaren arbetat med ett ramverk i Ruby som ska samla in infomation för att göra det möjligt att testa hypotesen. Tanken är att skapa ett system för peer-review som liknar det som används för vetenskapliga artiklar - men tillämpa det för blogginlägg och andra texter. Hur långt kan man komma - utan att koppla in människor i bedömningen?
Tekniken används förmodligen redan av Google för att ranka webbsidor - då själva algoritmen också är utvecklad av forskare vid sökmotorföretaget (Le & Mikulov, 2014). Vektormetoden har visat sig förvånansvärt effektiv för att lära datorer att förstå mänskliga begrepp. Den är inte ens speciellt komplicerad.
Återstår att se om den fungerar på blogginlägg. Kommentera gärna om ni har någon erfarenhet av ämnet.
Kommentarer