Ergebnisse
3D Consistent Gaussian Splatting GANs for High Resolution Human Head Synthesis
Aktuelle 3D GANs für menschliche Köpfe nutzen einen Trick, bei dem der komplette 3D Kopf neu synthetisiert werden muss, sobald sich der Ansichtswinkel verändert. Dadurch ist zwar die Qualität der einzelnen Ansichten hoch, jedoch entstehen Inkonsistenzen beim Rendern und es führt dazu, dass solche 3D Modelle nicht in VR-Umgebungen verwendet werden können. In diesem Paper stellen wir eine neue 3D GAN Architektur und ein verändertes 3D GAN Training vor, das in der Lage ist, konsistente 3D Köpfe in hoher Qualität und hoher Auflösung zu erzeugen.
Wichtige Publikation
Barthel, F., Morgenstern, W., Hinzer, P., Hilsmann, A., & Eisert, P. (2025). CGS-GAN: 3D Consistent Gaussian Splatting GANs for High Resolution Human Head Synthesis (No. arXiv:2505.17590). arXiv. Quelle fraunhoferhhi.github.io
EEG-decodability of facial expressions and their stereoscopic depth cues in immersive virtual reality
Mithilfe von immersiver Virtual Reality, EEG und Eye-Tracking konnten wir zeigen, dass Gesichtsausdrücke unabhängig von binokularen Tiefenreizen zuverlässig aus neuronalen Signalen dekodiert werden können. Während stereoskopische Tiefe eine eigene, auslesbare EEG-Signatur erzeugte, blieben die Repräsentationen der Gesichtsausdrücke in Bedingungen mit und ohne Tiefenreizen vergleichbar, was auf separate neuronal Verarbeitungsprozesse für Gesichtsausdrücke und die damit assoziierten Tiefenreize hinweist.
Wichtige Publikation
Klotzsche, F., Nasim, A., Hofmann, S. M., Villringer, A., Nikulin, V., Sommer, W., & Gaebler, M. (2025). EEG-decodability of facial expressions and their stereoscopic depth cues in immersive virtual reality. bioRxiv, 2025-08. Quelle
Neurokognitiv-geleitete Modellierung virtueller Menschen für verbesserten Realismus in immersiven Medien
Um zu untersuchen, wie sich die menschliche Wahrnehmung zwischen echten und KI-generierten Gesichtern unterscheidet, entwickelten wir ein EEG-Experiment zur Messung neurophysiologischer Reaktionen auf synthetische Bilder, die von Generative Adversarial Networks erstellt wurden. Um besser zu verstehen, was was virtuelle Gesichter für menschliche Beobachter realistisch erscheinen lässt , beabsichtigen wir die erfassten Gehirnsignale mit standardisierten visuellen Qualitätsmetriken wie der Fréchet Inception Distance (FID) zu vergleichen. Dieses experimentelle Framework, das beim Retreat der neurologischen Abteilung präsentiert wurde, zielt darauf ab, neurophysiologisches Feedback in Deepfake-Erkennungs- und Generierungssysteme zu integrieren und dadurch menschenorientiertere Ansätze zu schaffen, die die tatsächliche menschliche Wahrnehmung von Realismus in immersiven Medien besser widerspiegeln.
Human-aligned deep and sparse encoding models of dynamic 3D face similarity perception
Um den Einfluss von Raum und Zeit auf die Bewertung der Ähnlichkeit von Gesichtern zu testen, führten wir ein großes Online-Experiment in einer statischen 2D- und einer dynamischen 3D-Bedingung durch. Wir trainierten Computermodelle, um die menschlichen Bewertungen von Ähnlichkeit zu kodieren und um latente Repräsentationen zu untersuchen, die ihren Vorhersagen zugrunde liegen. Wir entdeckten eine konsistente Verarbeitung der Gesichtsähnlichkeit zwischen 2D und 3D. Unsere Kodierungsmodelle zeigten jedoch auch subtile Unterschiede auf. Unsere öffentlich zugänglichen Daten und Modelle bilden die Grundlage für das Verständnis unserer Fähigkeit, Gesichter in einer dynamisch verändernden realen Welt zu erkennen und zu identifizieren.
Wichtige Publikation
Hofmann, S. M., Ciston, A., Koushik, A., Klotzsche, F., Hebart, M. N., Müller, K.-R., Villringer, A., Scherf, N., Hilsmann, A., Nikulin, V. V., & Gaebler, M. (2024). Human-aligned deep and sparse encoding models of dynamic 3D face similarity perception. PsyArXiv. Quelle
Real or fake? Decoding realness levels of stylized face images with EEG
Wir haben einen EEG-Datensatz verwendet, bei dem den Teilnehmer*innen Bilder von menschlichen Gesichtern mit unterschiedlichen Stilisierungsgraden präsentiert wurden. Wir fanden eine nicht-lineare Beziehung zwischen den Amplituden der neuronalen Reaktionen und dem Stilisierungsgrad. Darüber hinaus gelang es uns, den Grad der Realitätsnähe aus den EEG-Daten der einzelnen Trials zu entschlüsseln. Diese Studie bietet eine Grundlage für zukünftige Forschung und neuronales Benchmarking für die Erkennung des Realitätsgrades von Gesichtern in Bezug auf drei Aspekte: SSVEP-basierte neuronale Marker, effiziente Klassifizierungsmethoden und Low-Level-Stimulus-Störfaktoren.
Wichtige Publikation
Chen, Y., Stephani, T., Bagdasarian, M. T., Hilsman, A., Eisert, P. , Villringer, A., Bosse, S., Gaebler, M., Nikulin, V. V. (2023). Real or fake? Decoding realness levels of stylized face images with EEG. Research Square. Quelle
Fooling State-of-the-Art Deepfake Detection with High-Quality Deepfakes
Diese Arbeit unterstreicht den Bedarf an robusten Deepfake-Detektoren angesichts zunehmender Sicherheits- und Datenschutzbedenken. Wir präsentieren einen neuartige Autoencoder und ein Face-Blending-Verfahren vor, um qualitativ hochwertige Deepfakes zu generieren. Diese verwenden wir, um zu demonstrieren, dass ein State-of-the-Art-Deepfake-Detektor nicht bezüglich aufwändiger Deepfake-in-the-Wild generalisiert ist. Die Ergebnisse zeigen, wie wichtig es ist, hochwertige Fälschungen in die Trainingsdatensätze von Deepfake-Detektoren aufzunehmen, um die Generalisierung und Erkennung von Manipulationen in realen Szenarien zu verbessern.
Wichtige Publikation
Beckmann, A., Hilsmann, A., Eisert, P. (2023). Fooling State-of-the-Art Deepfake Detection with High-Quality Deepfakes. arXiv. Quelle
Decoding subjective emotional arousal from EEG during an immersive virtual reality experience
Wir konnten subjektives emotionales Arousal während einer immersiven VR-Erfahrung mit virtuellen Achterbahnen aus der EEG-abgeleiteten parieto-okzipitalen Alpha-Power berechnen (Hofmann, Klotzsche, Mariola et al., 2021).
Wichtige Publikation
Hofmann, S. M., Klotzsche, F., Mariola, A., Nikulin, V., Villringer, A., & Gaebler, M. (2021). Decoding subjective emotional arousal from EEG during an immersive virtual reality experience. eLife. Quelle press release | eLife digest | twitter thread