Predicting scalar coupling constants via machine learning

Abstract

Over the preceding decade, machine learning techniques have been successfully applied in several fields of research, including the prediction of chemical properties of atoms and molecules. Whereas conventional quantum chemical methods can be very computationally expensive, machine learning algorithms give rise to fast and accurate predictions beyond the known data set, given that they have been trained with a sufficient amount of quality data. Online platforms, such as Kaggle (kaggle.com), host machine learning competitions with welldefined problem descriptions and a substantial amount of accompanying data. These provide a well-defined objective with a clear-cut deadline, making them ideal for short-term focused research work. In addition, the Kaggle website serves as an interactive learning environment, with a continually updated scoreboard and public discussion forum. During the summer of 2019, a team of students and scientists at the Norwegian Defence Research Establishment (FFI) participated in the Kaggle competition Predicting Molecular Properties, where the task was to predict the scalar coupling constant via machine learning. The scalar coupling constant is an expression of the magnetic interactions between atoms in a molecule and depends on its atomic composition and geometry. We investigated several mathematical representations of molecular data as inputs to various supervised learning algorithms, including deep neural networks and gradient boosting trees. Combining the molecules’ distance matrices with angular information provided a flexible data representation, enabling accurate predictions. Our most successful model comprised an ensemble of deep neural networks and gradient boosting trees, resulting in a 308th place among the 2,737 competing teams. A key factor of the team’s success was the mixture of relevant domain expertise and machine learning experience.

I løpet av det foregående tiåret har maskinlæringsteknikker blitt anvendt innen en rekke forskningsområder, inkludert prediksjon av kjemiske egenskaper til atomer og molekyler. Til forskjell fra konvensjonelle kvantekjemiske metoder som kan være meget beregningskrevende, gir maskinlæringsalgoritmer raske og presise prediksjoner utover det kjente datasettet, gitt at de har blitt trent med tilstrekkelig mengde data av god kvalitet. Online-plattformer, som Kaggle (kaggle.com), er vertskap for maskinlæringskonkurranser med klart definerte problembeskrivelser og en betydelig mengde tilhørende data. Disse setter rammer for fokusert forskning over kort tid med veldefinert målsetting og kort tidsfrist. I tillegg fungerer Kaggle-nettsidene som en interaktiv læringsplattform med en kontinuerlig oppdatert rangeringsliste og et åpent diskusjonsforum. Sommeren 2019 deltok et team bestående av studenter og forskere ved Forsvarets forskningsinstitutt (FFI) i Kaggle-konkurransen Predicting Molecular Properties hvor oppgaven var å predikere den skalare koplingskonstanten ved hjelp av maskinlæring. Den skalare koplingskonstanten er et uttrykk for den magnetiske vekselvirkningen mellom atomer i et molekyl og avhenger av dets atomære sammensetning og geometri. Vi undersøkte flere matematiske representasjoner av molekyldata som input til ulike veiledede læringsalgoritmer, inkludert dype nevrale nett og gradient boosting-trær. En kombinasjon av molekylenes distansematriser og angulær informasjon gav en fleksibel datarepresentasjon som muliggjorde presise prediksjoner. Vår mest vellykkede modell inneholdt et ensemble av nevrale nett og gradient boosting-trær og resulterte i en 308. plass av de 2737 deltakende teamene. En nøkkelfaktor for teamets suksess var å kombiner og utnytte relevant domenekunnskap og erfaring med maskinlæringsoppgaver fra ulike forskningsgrupper på FFI.