Allgemeine Analyse-Informationen

Auswertung

In dieser Übersicht fassen wir die allgemeinen Daten des Bildes und der Analyse zusammen. Später werden hier weitere Erklärtexte auf die Eingabe eingehen und bspw. Metadaten etc. sichtbar sein.

Forensische Analyse

Der Abschnitt forensische Analyse stellt die Ergebnisse unseres Deepfake Detection KI-Modells dar. Die forensische Analyse setzt sich auf zwei Dimensionen zusammen: Die Anzahl an Spuren, die im Bild gefunden werden. Dies kann dadurch beeinflusst werden, dass bspw. durch starke Kompression nur noch wenige Rauschmuster von unserem Modell erkannt werden. Dann sind diese Spuren reduziert. Es gibt neben der Klasse „Synthetic“ – also Spuren von KI Generatoren – auch die Klasse „Real“ – die die Anzahl an Spuren anzeigt, die auf echte Kamerapipeline-Rauschmuster hindeuten. Dann gibt es noch den Gegenvergleich – die Klasse „Kompression“ – wenn hier gleich viele Spuren gefunden werden, deutet dies darauf hin, dass gegenenfalls Spuren überlagert sind.

Je weniger Spuren gefunden werden, desto vorsichtiger muss man mit der Analyse sein. Es gibt allerdings noch die zweite Dimension in dieser Analyse: Die Unsicherheit des Modells- dargestellt als Strich auf der Grafik. Je länger der Strich, desto höher die Unsicherheit des Modells. Dass bedeutet, dass die Bewertungsgrundlage für die Entscheidung des Modells nicht optimal war. Dies kann viele Ursachen haben – beispielsweise eine „Out of Distribution Situation“ – also KI Spuren werden gefunden, unser Modell kennt aber die dahinterliegenden Muster noch nicht. Dann wird bspw. viel KI Spur aber wenig Sicherheit (sprich hohe Unsicherheit) ausgegeben.

Die Texte sollen diese Sachverhalt nochmal erläutern und auch einfacher zu verstehen machen – sind derzeit aber noch nicht zu Ende entwickelt und können verwirrend sein. Im Zweifel beziehen Sie sich bei der Interpretation des Ergebnisses optimalerweise immer auf die Grafik.

Heatmaps

Eine Heatmap (deutsch: „Wärmebild“ oder „Dichtekarte“) ist eine visuelle Darstellung von Daten, bei der unterschiedliche Werte durch Farben dargestellt werden. Typischerweise stehen wärmere Farben (wie Rot oder Gelb) für höhere Werte oder Wahrscheinlichkeiten, während kühlere Farben (wie Blau oder Grün) niedrigere anzeigen. In der Bildverarbeitung und Forensik wird eine Heatmap oft über ein Bild gelegt, um bestimmte Informationen visuell hervorzuheben.

Bei uns gibt es drei Arten von Heatmaps:
Spuren der Echtheit, Spuren der Synthese und Kompressions-Artefakte.

Spuren der Echtheit

Hier wird die Heatmap für Spuren von Echtheit angelegt. Dies bedeutet, dass diejenigen Teile rötlich/gelb sind, dien Spuren von echter Kamerapipeline aufweisen. Diese Fingerprints der Kamerasensoren sind einzigartig.

Spuren von Synthese

Spuren von Synthese bedeuten bei uns Spuren von Fake. Wir finden hier Artefakte von KI Generatoren. Deren Rechenoperationen, die notwendig sind, um das Bild zu erstellen, hinterlassen bestimmte statistische Merkmale, die wir detektieren können. In der Heatmap werden diese visuell dargestellt. Hier zeigt die Heatmap in blau, was nicht Fake ist und in rot, was Fake ist.

Kompressions-Artefakte

Die JPEG-Kompression (Joint Photographic Experts Group) ist ein Verfahren zur verlustbehafteten Komprimierung von Bildern, das besonders bei Fotos verwendet wird. Es werden gewisse Blöcke an Pixeln gebildet und damit ähnliche Bildinformationen zusammengefasst. Hier können auch prägnante Muster von KI-Generatoren verloren gehen. Trotzdem können im Bildrauschen die Kompressionsoperationen anhand bestimmter Artefakte nachvollzogen werden. Interpretationstipp der Heatmap:
Sie dient vor allem zur Kontrolle der restlichen Ergebnisse – sind hier die exakt gleichen Bereiche wie bei Spuren von Fake rötlich? Dann muss man sich Gedanken darüber machen, ob hier eine vollständige Überlagerung vorliegt. Denn hier werden diejenigen Bereiche im Bild rot eingefärbt, in denen Kompressionsspuren gefunden wurden.