Maskinlæring for tematisk inndeling og analyse av propagandabildene til IS (Den islamske staten)

Abstract

Analytikere og forskere som studerer terroristgrupper og andre militante, ikke-statlige aktører, ser ofte til propagandamaterialer for å danne seg et bilde av hvem disse aktørene er, hva de ønsker, og hvordan de opererer. På grunn av den teknologiske utviklingen har det blitt mye lettere for slike aktører å produsere propaganda i store mengder og spre den på nettet. Derfor er det nærmest umulig for analytikere og forskere å få oversikt over denne propagandaen manuelt. Vi er med andre ord nødt til å utvikle nye metoder for å analysere disse store datamengdene. Denne studien utforsker hvordan maskinlæring kan støtte analysen av én av de mest utbredte formene for propaganda, nemlig bilder. I denne rapporten tar vi for oss et typisk brukstilfelle – et korpus på over 30 000 propagandabilder produsert av terrororganisasjonen IS (Den islamske staten). Vi bruker maskinlæringsmetoder til å danne en oversikt over innholdet i dette korpuset og anvender denne oversikten som utgangspunkt for en analyse av propagandamaterialet. Målet med studien er todelt – både å bidra til metodeutvikling innen maskinlæring og å bidra til ny forståelse av IS’ bildepropaganda. For å analysere innholdet i hvert enkelt bilde bruker vi maskinlæringsmodellen Contrastive Language-Image Pre-training (CLIP). CLIP oversetter hvert bilde til en vektor som representerer innholdet i bildet. Deretter bruker vi klyngealgoritmen 𝑘��-snitt til å dele inn disse vektorene i et antall klynger med så liten som mulig variasjon innad i hver klynge. Dette gir oss klynger av bilder med lignende tematisk innhold. Vi bruker denne tematiske inndelingen som utgangspunkt for en analyse av IS’ propagandabilder i perioden 2014–2022. Siden hvert av bildene inneholder metadata om produksjonstidspunkt og -sted, kan vi også analysere hvordan tematikken i IS’ bildepropaganda har utviklet seg over tid og mellom IS’ såkalte provinser. Hovedfunnene i analysen er at IS har gått fra å fremstille seg både som en militær organisasjon og som et sivilt statsapparat tidlig i perioden (2014–2018) til nesten utelukkende å vise seg som militær bevegelse og opprørsgruppe fra 2019. Videre har den geografiske hovedtyngden i materialet beveget seg fra Irak og Syria til Vest- og Sentral-Afrika. Denne utviklingen i propagandamaterialet gjenspeiler de store endringene IS som organisasjon har vært gjennom i samme tidsrom, noe som blir særlig tydelig i materialet etter at IS mistet de siste landområdene de kontrollerte i Irak og Syria, i 2018–2019. Samtidig tyder funnene våre på at IS bevisst velger å nedtone de sivil-administrative delene av sin egen aktivitet i deler av Afrika der gruppen nå er i ferd med å bygge seg opp igjen. De afrikanske IS-provinsene viser også et gjennomgående mer voldelig innhold i bildene sine enn de andre provinsene, og de vier også vesentlig mindre oppmerksomhet til egne martyrer enn det som har vært vanlig i annen jihadistpropaganda. Disse utviklingstrekkene kan si noe om hvor IS er på vei i fremtiden. Kombinasjonen av CLIP og klyngealgoritmer fremstår som et godt verktøy for å få rask oversikt over store mengder bilder, og det fungerer utmerket som analysestøtte. Metoden er enkel å bruke og lar seg lett overføre til andre brukstilfeller.

For analysts and researchers studying terrorist groups and other non-state actors, propaganda materials provide important sources to understand who these actors are, what they want, and how they operate. Recent technological developments have made it significantly easier for such actors to produce propaganda and publish it online, in ever-increasing quantities. This has made it almost impossible for analysts and researchers to go through these materials manually. It is therefore imperative that we develop new methods to analyse such large amounts of data. This report explores how machine learning can support the analysis of one of the most common forms of propaganda: pictures. In this report, we have chosen a typical use case – a corpus of over 30,000 propaganda pictures produced by the terrorist organisation IS (The Islamic State) – and explore how machine learning methods can be used to gain an overview of its contents. This is used as a starting point for an analysis of the propaganda pictures. The aim of the study is twofold: to contribute to method development in machine learning and to provide new insights into IS’ visual propaganda. We use the machine learning model Contrastive Language-Image Pre-training (CLIP) to analyse the content of each individual image. CLIP translates each image into a vector that represents its content. We then use the clustering algorithm 𝑘�-means to divide these vectors into a number of clusters, minimising the internal variation between the vectors in each cluster. This results in clusters of images with similar thematic content. We use this thematic division as a starting point for an analysis of IS’ propaganda pictures in the period 2014–2022. Since each of the images contains metadata about the time and place of production, we can also analyse how the themes in IS’ image propaganda have developed over time and between IS’ so-called provinces. Our main findings are that while IS portrayed itself both as a military organisation and as a civilian state apparatus early in the period (2014–2018), since 2019, it has almost exclusively presented itself as a military organisation and rebel group. Furthermore, the preponderance of the propaganda material has moved geographically from Iraq and Syria to West and Central Africa. The development in the propaganda materials reflects the major changes IS has undergone as an organisation in the same period. This is especially apparent after IS lost its last pockets of territory in Iraq and Syria in 2018–2019. However, our findings also suggest that IS deliberately chooses to downplay the civil-administrative parts of its own activity in parts of Africa where the group is on the rise. Moreover, the pictures produced by the African IS provinces feature significantly more violent content than the other provinces, while there is less content devoted to martyrs than what has been the norm in jihadist propaganda. These developments may give an indication of where IS is headed in the near future. We find that combining CLIP and clustering algorithms is a quick way to get an overview of the contents of a large image corpus, providing a useful tool for analysts. The method is easy to employ and can easily be adapted to other use cases.