Performance analysis of the proposed new restoring camera for hyperspectral imaging

Abstract

This report investigates the performance of the proposed new restoring camera for hyperspectral imaging. The suggested camera will eliminate keystone in the postprocessing of the data with no resolution loss and will be able to collect several times more light than current hyperspectral cameras with hardware corrected keystone. A virtual camera is created in Matlab for the analyses, and data from a real hyperspectral image is used as input. The performance of the restoring camera is compared to the conventional hyperspectral cameras, that either correct keystone in hardware or apply resampling to the collected data. The analyses show that the restoring camera outperforms by far the conventional cameras under all light conditions. Conventional cameras have misregistration errors as large as 15-20%, and these errors remain even if the amount of light increases. The restoring camera, on the other hand, has negligible misregistration errors and is limited only by photon noise. This camera therefore performs better and better as the amount of light increases. In very bright light, the standard deviation of the error for the restoring camera (compared to an ideal camera) is only 0.6% and the maximum error less than 2%. The optical design for the restoring camera is included in the report. The optics is as sharp as the best conventional designs and collects four times more light. The camera must be calibrated very precisely and a method for doing so is described in the report. We have also looked briefly into the potential of resampling cameras. Resampling cameras are generally believed to be significantly worse than cameras with hardware corrected keystone. However, our analyses show that resampling cameras can compete quite well with such cameras. In particular, a resampling camera that uses a high-resolution sensor combined with binning of pixels is shown to make an excellent camera for low light applications. The performance will, however, still be noticeably worse than what can be achieved with the suggested restoring camera. We propose a joint FFI-NEO project with the goal of building the new restoring camera. The project would benefit from NEO’s expertise in design of hyperspectral cameras and FFI’s expertise in processing of hyperspectral data. Key issues to be addressed would be verification of the performance of the mixing chambers, and development and implementation of the calibration method for the camera. The outcome of the project would be a rather impressive instrument which will by far outperform the current generation of hyperspectral cameras.

I denne rapporten undersøker vi ytelsen til det foreslåtte nye mikselkameraet for hyperspektral avbildning. Kameraet vil eliminere keystone i etterprosesseringen av dataene uten tap av oppløsning og vil ha en optikk som er flere ganger så lyssterk som dagens hyperspektrale kameraer hvor keystone korrigeres i hardware. Vi har laget et virtuelt kamera i Matlab der data fra et ekte hyperspektralt bilde brukes som input for analysene. Mikselkameraets ytelse er sammenliknet med de konvensjonelle hyperspektrale kameraene som enten korrigerer keystone i hardware eller resampler dataene. Våre analyser viser at mikselkameraet har en vesentlig bedre ytelse enn de konvensjonelle kameraene under alle lysforhold. For konvensjonelle kameraer kan feilregistreringen være så stor som 15-20%, og denne feilen forsvinner ikke selv om lysmengden øker. Mikselkameraet på den annen side, har neglisjerbar feilregistrering og ytelsen er kun begrenset av fotonstøyen. Dette kameraet presterer derfor bare bedre og bedre når lysmengden øker. I svært sterkt lys blir standardavviket til feilen (sammenliknet med et ideelt kamera) så lavt som 0.6% og maksimumfeilen mindre enn 2%. Rapporten inkluderer et forslag til optisk design for mikselkameraet. Denne optikken er like skarp som i de beste konvensjonelle designene og fire ganger så lyssterk. Kameraet må kalibreres svært nøyaktig og en metode for å gjøre dette er beskrevet i rapporten. Vi har også undersøkt hvilke muligheter som ligger i å benytte resamplingskameraer. Det ser ut til å være en utbredt oppfatning at disse kameraene har vesentlig dårligere ytelse enn de kameraene som korrigerer keystone i hardware. Våre analyser viser imidlertid at resamplingskameraer konkurrerer godt med sistnevnte type kameraer. Spesielt viser analysene at et resamplingskamera som benytter en sensor med høy oppløsning og slår sammen piksler, vil være et utmerket kamera for applikasjoner med lite lys. Ytelsen vil imidlertid fremdeles være vesentlig dårligere enn hva det foreslåtte mikselkameraet vil kunne prestere. Vi foreslår å opprette et felles FFI-NEO prosjekt med det formål å lage det nye mikselkameraet. Prosjektet vil dra nytte av NEOs ekspertise innenfor design av hyperspektrale kameraer og FFIs ekspertise innenfor prosessering av hyperspektrale data. Viktige momenter å se på i den videre prosessen er verifisering av blandekamrenes ytelse, og utvikling og implementering av kalibreringsmetoden for kameraet. Resultatet av prosjektet vil være et hyperspektralt kamera som har vesentlig forbedret ytelse sammenlignet med dagens kameraer.