Speziell in wissenschaftlichen Anwendungen sind die Menge der Bilddaten groß und die Aufbewahrungszeiten lang, was zunehmend die IT-Systeme und Serverauslastungvon Forschungseinrichtungen strapaziert. „Big Data ist ein aktuelles Problem, das im Bereich Scientific Imaging vielfach diskutiert wird. Es wird befeuert durch drei Entwicklungen: Höhere Bildrate, höhere Auflösung, sowie den Anspruch, möglichst dreidimensionale Aufnahmen zu machen“, bestätigt Dr. Gerhard Holst, Head of Science & Bredearch bei PCO. „Generell lassen sich Bilddaten komprimieren, aber in bisher verfolgten Ansätzen erst nach der Erzeugung des Bildes entweder verlustbehaftet oder mit niedriger Komprimierungsrate.“ Als Hersteller von Highend-Kamerasystemen fand PCO während der Erforschung neuer Möglichkeiten zur Komprimierung von Bilddaten die Schweizer Dotphoton, die sich auf Bildkompression für kritische Anwendungen und KI spezialisiert hat.
Ansätze aus der Quantenphysik
Die Dotphoton-Lösung Jetraw setzt bereits vor der Entstehung des Bildes an und nutzt die Kenntnis vom Rauschverhalten des Kameradetektors, um die Bilddaten effizient zu komprimieren. Die Ursprünge der Schweizer Bilddatenkomprimierung gehen zurück auf Forschungsfragen der Quantenphysik. „Im Rahmen von Versuchsaufbauten mit CCD/CMOS-Sensoren zur Quantifizierung der Entropie und dem Verhältnis von Signal und Rauschen zeigte sich, dass selbst bei sehr guten Detektoren der größte Teil der Entropie aus Rauschen besteht. Bei einem 16-Bit-Sensor erkannten wir typischerweise 9Bit Entropie, die rein auf Rauschen zurückzuführen waren und nur 1Bit, das vom Signal herrührte“, erläutertBruno Sanguinetti, CTO und Mitbegründer von Dotphoton. „Eine Erkenntnis aus unseren Beobachtungen ist, dass gute Detektoren förmlich in das Rauschen ‚hineinzoomen'“.
Komprimierung bis zum Faktor 10
Dotphoton führt den Nachweis, dass bei ihrer Komprimierung um bis zu einem Faktor zehn die Bilddaten keinen Informationsverlust erleiden. Konkret verwendet Dotphoton für ihre Rauschkomprimierung die Informationen über das eigene temporale als auch räumliche Rauschen des Detektors. Die spezifischen Messwerte der Kamera sind also Input-Voraussetzung, was aus Sicht von Gerhard Holst einen willkommenen Synergieeffekt ergibt. PCO ist langjähriger Unterstützer des Bildverarbeitungsstandards EMVA 1288, mit dem Qualitätsparameter von Kameras bestimmt werden, um sie mit Kameras anderer Hersteller vergleichen zu können. Die für EMVA 1288 erforderlichen Messdaten stimmen dabei größtenteils mit den notwendigen Parametern der Dotphoton-Software überein und sind dementsprechend bei jeder PCO-Kamera ohnehin bereits vorhanden. „Das Wissen um den Detektor und die Kamera kann mit der Lösung von Dotphoton nutzbringend eingesetzt werden. Aus diesem Grund war es aus PCO-Sicht extrem reizvoll ein Kompressionsverfahren zu erhalten, das die individuelle Bilderfassungskette jeder Kamera ausnutzt“, so Gerhard Holst. Momentan werden die komprimierten Bilddaten im PCO-System im Recordermodul des SDK abgespeichert und von der Dotphoton-Software zur Bearbeitung wieder dekomprimiert. Eine Vollintegration der Dotphoton-Software in die Kamera wäre ein logischer Integrationsschritt, bei der die Kamera nur noch die bereits komprimierten Daten überträgt. „Der ultimative Benefit wäre die Integration der Kompression ins FPGA“, schwärmt Gerhard Holst. Dieser ist nach Aussage von Dotphoton nicht mehr weit entfernt. Erste Rückmeldungen auf Kundenseite von PCO waren durchaus positiv, weitere Anfragen etwa aus dem Bereich Particle Image Velocimetry werden derzeit geprüft. Eine Ausdehnung auf High-Speed Imaging Bereiche außerhalb des rein wissenschaftlichen Umfelds mit ebenso hohen Anforderungen an Datenarchivierung wie etwa Crash Tests ist ebenso denkbar.
Erleichtert KI-Anwendungen
Unabhängig davon war bei Dotphoton für die Entwicklung von Jetraw auch die vermehrte Nutzung von Bilddaten bei KI-Anwendungen ein treibender Faktor.So betont Bruno Sanguinetti, dass in den letzten Jahren die Anzahl der Bilder, die rein zu Analysezwecken erzeugt werden, drastisch angestiegen ist. „Viele dieser Bilder werden gespeichert und dienen etwa zum Trainieren von Deep Learning Anwendungen. Hier eröffnet sich für unseren Komprimierungs-Algorithmus eine Chance, denn er zielt darauf ab, auch nach der Komprimierung die metrologischen Eigenschaften der RAW-Bilder zu erhalten.“ Die in den Jetraw-Bildern enthaltenen Informationen zur Kamerakalibrierung werden derzeit nur für die Komprimierung verwendet. Sie könnten aber gleichzeitig auch zur Verbesserung anderer Bildverarbeitungsaufgaben genutzt werden, etwa damit Machine Learning effizient mit Bildern aus verschiedenen Quellen arbeiten kann. Aktuell erfolgt bei Dotphoton die Integration verschiedener Softwarepakete und Programmiersprachen, so dass Benutzer die Jetraw-Bilder direkt laden und speichern können.