FFIs prediksjonsturnering – idé- og metodebeskrivelse

Abstract

Så lenge fremtiden er preget av usikkerhet, vil det være nødvendig å legge noen antagelser om den fremtidige utviklingen til grunn i alle forsvars- og sikkerhetspolitiske studier, ekspertutredninger, fagmilitære råd og langtidsplaner for Forsvaret. Å «predikere» handler om å gjøre beregninger av fremtidige forhold. Flere stridsspørsmål i den norske forsvarsdebatten kan f.eks. spores tilbake til ulike «prediksjoner» om hvordan et fremtidig angrep på Norge vil se ut, hvor sikre vi kan være på alliert støtte og hva en angriper kan tenkes å gjøre. Konklusjoner om hva vi anser som sannsynlige utviklinger i våre strategiske omgivelser, kan også legge føringer for hvilke løsninger vi velger å utrede videre og beregne de økonomiske kostnadene av senere. Prediksjon er derfor en uunngåelig del av forsvarsplanleggingen. Problemet er at alle eksperter, forskere og offiserer kan ikke ha like rett om hva som vil skje i fremtiden. Gitt de store konsekvensene av å ta feil, er det heller ikke likegyldig hvem beslutningstagerne hører på. Treffsikkerheten til det norske forsvars- og sikkerhetspolitiske miljøet har imidlertid aldri blitt målt. De neste tre årene vil FFI derfor arrangere en «prediksjonsturnering» for alle forsvars- og sikkerhetspolitisk interesserte i Norge. Denne rapporten beskriver idéen og metoden bak. Turneringen vil gjennomføres som en spørreskjemabasert konkurranse, der alle deltagere får en mail med fem spørsmål i begynnelsen av hver måned. Spørsmålene vil handle om alt fra valgresultat, krig og konflikt til økonomisk utvikling og teknologi. Tidsperspektivet til spørsmålene vil variere fra noen uker til flere år. Turneringen vil være åpen for alle interesserte, både i og utenfor forsvarssektoren, med og uten forsvars- og sikkerhetspolitisk erfaring. Hensikten er å måle hvor gode eller dårlige vi er til å forutsi hendelser og utviklinger av relevans for det norske forsvaret. Treffsikkerheten vil bli målt ved hjelp av Brier-score. Her måles deltagerne ut fra hvor sikre de er i sine prediksjoner. Deltagerne må derfor anslå hvor sannsynlig (i antall prosent) de tror hvert utfall er. Prediksjonsevne handler i denne turneringen om å oppgi høy sannsynlighet til de utfallene som faktisk skjer, og lav til de som ikke gjør det. Alle deltagere vil få tilsendt resultater med sin score og plassering etter hvert spørsmål som blir avgjort. De fem beste deltagerne navngis, og én gang i året kåres det vinnere innenfor ulike kategorier. Deltagernes treffsikkerhet vil også bli sammenlignet med enkle algoritmer som «tilfeldig gjetning» og «prediker ingen endring». Resultatene fra turneringen vil for første gang gjøre det mulig å tallfeste treffsikkerheten til det norske forsvars- og sikkerhetspolitiske miljøet på spørsmål av relevans for Forsvaret i fremtiden. Resultatene vil også si noe om hvilke temaer vi klarer å predikere mer nøyaktig enn andre, om det er store forskjeller mellom ulike grupper deltagere og om det finnes noen enkeltpersoner i Norge som har en systematisk og målbar evne til å forutsi fremtiden mer nøyaktig enn resten. Det endelige målet er at ved å få mer kunnskap om hva vi kan og ikke kan forutsi om fremtiden, vil vi også kunne bidra til å øke treffsikkerheten i beslutningsgrunnlaget for fremtidens forsvar.

In all defence planning, it is necessary to make some assumptions about the future strategic environment. However, given that it is impossible to be certain about what the future may entail, defence and security analyses, expert opinions, threat assessments and scenarios will always involve some degree of forecasting. To forecast, or to predict, is to make estimates about future events, e.g. about the scope of threats, changes in defence spending or the conduct of war. Yet, the forecasting accuracy of the Norwegian defence and security community has never been measured. Furthermore, all researchers, experts and officers cannot be equally right about what may happen in the future. Given the potentially catastrophic consequences of preparing for the wrong threats, the degree to which the predictions we base our planning on are correct, will be decisive for how well prepared the Norwegian Armed Forces will be in face of future challenges. Over the next three years (2017–2020), FFI will therefore be conducting a forecasting tournament for everyone who is interested in or works on defence and security policy-related topics in Norway. The main objective is to measure the Norwegian defence and security community’s ability to forecast developments and events of relevance to the Norwegian Armed Forces. The tournament will be conducted through a monthly survey with five questions on topics ranging from international politics and the economy to armed conflicts, technology and future warfare. The tournament will be open to everyone, both from within and outside the Norwegian defence sector, regardless of formal background or previous experience. Thus, it will be possible to compare the forecasting ability of amateurs with that of professionals who work on the questions posed on a daily basis, including military planners and intelligence analysts. Forecasting accuracy will be measured using Brier score, which is a commonly used proper score function that measures the accuracy of probabilistic predictions. Thus, all participants will be asked to estimate how likely (in percentages) they believe each different outcome is. The goal is to assign high probabilities to outcomes that do occur, whilst assigning low probabilities to outcomes that do not. All participants will receive an individual score and rank on every question. The five best participants will be named and winners will be announced once a year. All scores will also be measured against various algorithms and groups of other participants. The tournament’s results will provide the first quantitative measure of the Norwegian defence and security policy community’s forecasting accuracy. It will also provide insights on whether there are some topics that are harder to predict than others, whether some groups of people are better than others and whether there are some individuals in Norway who are particularly good. Hopefully, the knowledge gained through this forecasting tournament will help increase the accuracy of analyses in support of decisions on the future of the Norwegian Armed Forces.