Ny bildalgoritm på bloggen
Har den senaste veckan roat mig med att skriva ett nytt program för att ta fram lämpliga bilder till bloggen. Det förra var ganska rudimentärt, men det nya följer vedertagna principer för textanalys. Jag har haft god hjälp av Algorithmia - en tjänst som gör det möjligt att analysera text, bilder eller annan information med hjälp av algoritmer för att ta fram vad texten egentligen handlar om.
Algoritmen som jag använder heter LDA (latent dirichlet allocation) och upptäcktes 2003 av David Blei, Andrew Ng and Michael Jordan. Principen är att alla texter, till exempel ett blogginlägg, karaktäriseras av icke-observerbara grupper som styr vilka ord som dyker upp i texten. Om en text innehåller orden Kristersson, Lööf och Löfven kan man till exempel anta att den handlar om svensk politik.
Algoritmen talar inte om vilka de underliggande ämnena är, men den kan dela in exempelvis blogginlägg i dessa ämnen.
Vid tillämpningen av LDA har jag antagit att bloggen behandlar 50 olika ämnen och att dessa ämnen kan beskrivas med fem nyckelord vardera. Mer behöver jag inte göra, sedan tar algoritmen över. Samtliga blogginlägg analyseras och 50 ämnen tas fram. Därefter tas det dominerande ämnet för varje blogginlägg fram med hjälp av en andra algoritm som benämns LDA-mappning. Eftersom varje ämne beskrivs av fem nyckelord kan även blogginläggen beskrivas med hjälp av dessa fem nyckelord.
Nästa steg är att hitta en bild som passar till ämnet. Jag låter därför ett program söka efter bilder som är taggade med ett eller flera av dessa nyckelord. Om nyckelorden är Kristersson, Lööf och Löfven söker bloggen alltså efter en bild som kan föreställer en eller alla dessa personer. För att hitta bilder använder jag bilddelningstjänsten Pixabay där miljoner användare världen över bidrar med bilder som är helt fria att använda för redaktionella syften.
Bloggen gör alltså på egen hand ett slags faktoranalys av innehållet och väljer därefter en lämplig bild till varje blogginlägg. Jag vet alltså inte i förväg något om vilken bild bloggen kommer att välja för att illustrera en text. Återstår nu att se hur träffsäker den nya algoritmen är. Skulle tro att den är avsevärt bättre än den tidigare, men inte helt perfekt. Dock sparar jag en hel del arbete på att inte behöva välja ut bilder manuellt.
Den som är intresserad kan hitta alla API:er som jag använt nedan:
https://algorithmia.com/algorithms/util/Url2Text
https://algorithmia.com/algorithms/nlp/LDA
https://algorithmia.com/algorithms/nlp/LDAMapper
Programmet som letar upp bilderna är skrivet i Sinatra/Ruby.
Kommentarer