Am 13.06.2024 hat die Europäische Union die Verordnung (EU) 2024/1689, Verordnung über künstliche Intelligenz, erlassen (englisch: AI Act, nachfolgend: KI-Verordnung oder KI VO).
Hierzu enthält die KI VO auch ein paar Bestimmungen, die sich mit sog. Deepfakes beschäftigen.
Was ist Sinn & Zweck der KI VO?
Zweck der KO-Verordnung ist es, einen einheitlichen Rechtsrahmen für die Entwicklung, den Vertrieb und die Verwendung von KI-Systemen in der EU zu schaffen und dabei einerseits die Einführung von künstlicher Intelligenz (KI) zu fördern und andererseits vor schädlichen Auswirkungen von KI-Systemen in der Union zu schützen, vgl. Erwägungsgrund 1 und Art. 1 Abs. 1 KI VO.
Nach dem Gesamtgepräge ist allerdings zu beachten, dass es sich bei der KI VO in erster Linie quasi um Produktsicherheitsrichtlinien handelt, die sich mit bestimmten Pflichten zur Beschaffenheit eines Produktes an ihre Produzenten richtet. Die Einhaltung der Pflichten wird von einer Behörde überwacht. Es geht primär nicht darum, einem von dem Produkt in seinen Rechten verletztem Individuum einen selbstständigen Haftungsanspruch zu vermitteln (anders mglw. in Verbindung mit nationalem Recht, z.B. § 823 Abs. 2 BGB). Eine ursprünglich ebenfalls geplante KI-Haftungsrichtlinie wurde von der EU-Kommission am 12.02.2025 zurückgezogen.
Was ist ein Deepfake nach der KI VO?
Der Ausdruck „Deepfake“ bezeichnet nach Art. 3 Nr. 60 KI VO
einen durch KI erzeugten oder manipulierten Bild-, Ton- oder Videoinhalt, der wirklichen Personen, Gegenständen, Orten, Einrichtungen oder Ereignissen ähnelt und einer Person fälschlicherweise als echt oder wahrheitsgemäß erscheinen würde.
Der so definierte Begriff des Deepfakes entstanden aus den Begriffen „deep learning“ und „fake“ ist somit erheblich weiter als das bisherige umgangssprachliche Verständnis, das sich ursprünglich eher auf gefälschtes Bildmaterial von Personen bezog (sog. „face swapping“).
Es stellt sich zudem die vermutlich nicht immer einfach zu beantwortende Frage, ab wann der erzeugte Inhalt einer Person fälschlicherweise als echt oder wahrheitsgemäß erscheinen würde. Hierbei wird es auf den durchschnittlichen Betrachter und eine Einzelfallbetrachtung ankommen.
Welche Pflichten gelten bei Deepfakes?
Für Betreiber eines KI-Systems ordnet Art. 50 Abs. 4 KI VO bestimmte Transparenzpflichten bezüglich Deepfakes an.
Hierbei wir zwischen einerseits Bild-, Ton- oder Videoinhalte und andererseits Textinhalte differenziert.
Betreiber eines KI-Systems, das Bild-, Ton- oder Videoinhalte erzeugt oder manipuliert, die ein Deepfake sind, müssen nach Art. 50 Abs. 4 KI VO offenlegen, dass die Inhalte künstlich erzeugt oder manipuliert wurden.
Ist der Inhalt Teil eines offensichtlich künstlerischen, kreativen, satirischen, fiktionalen oder analogen Werks oder Programms, so beschränken sich die in diesem Absatz festgelegten Transparenzpflichten darauf, das Vorhandensein solcher erzeugten oder manipulierten Inhalte in geeigneter Weise offenzulegen, die die Darstellung oder den Genuss des Werks nicht beeinträchtigt.
Betreiber eines KI-Systems, das Text erzeugt oder manipuliert, der veröffentlicht wird, um die Öffentlichkeit über Angelegenheiten von öffentlichem Interesse zu informieren, müssen nach Art. 50 Abs. 4 KI VO offenlegen, dass der Text künstlich erzeugt oder manipuliert wurde.
Diese Pflicht gilt nicht, wenn die durch KI erzeugten Inhalte einem Verfahren der menschlichen Überprüfung oder redaktionellen Kontrolle unterzogen wurden und wenn eine natürliche oder juristische Person die redaktionelle Verantwortung für die Veröffentlichung der Inhalte trägt.
Für beide Content-Alternativen gleichermaßen gilt zudem eine weitere Ausnahme von der Kennzeichnungspflicht, und zwar wenn die Verwendung zur Aufdeckung, Verhütung, Ermittlung oder Verfolgung von Straftaten gesetzlich zugelassen ist.
Obwohl ausdrücklich nur für die Text-Variante genannt, dürfte im Übrigen für beide Varianten erforderlich sein, dass der erzeugte Inhalt veröffentlicht wird. Denn anders wäre eine Täuschung, vor der mit der Transparenzpflicht geschützt werden soll, nicht denkbar.
Wer ist Betreiber?
„Betreiber“ ist nach Art. 3 Nr. 4 KI VO
eine natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System in eigener Verantwortung verwendet, es sei denn, das KI-System wird im Rahmen einer persönlichen und nicht beruflichen Tätigkeit verwendet.
Der „Betreiber“ ist ferner abzugrenzen vom „Anbieter“, an den sich die KI VO an anderer Stelle richtet.
„Anbieter“ ist nach Art. 3 Nr. 3 KI VO
eine natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System oder ein KI-Modell mit allgemeinem Verwendungszweck entwickelt oder entwickeln lässt und es unter ihrem eigenen Namen oder ihrer Handelsmarke in Verkehr bringt oder das KI-System unter ihrem eigenen Namen oder ihrer Handelsmarke in Betrieb nimmt, sei es entgeltlich oder unentgeltlich.
In den allermeisten Fällen dürfte der „Betreiber“ damit umgangssprachlich „der Nutzer“ des KI-Systems sein, also derjenige, der bspw. ChatGPT – nach der Gesetzesvorgaben allerdings professionell – verwendet.
Kritik könnte daran geäußert werden, dass rein private Nutzer somit aus dem persönlichen Anwendungsbereich der Verordnung herausfallen. Schließlich dürfte ein nicht unwesentliches Bedrohungspotential gerade von reinen Privatnutzern ausgehen aufgrund der Tatsache, dass durch KI-Systeme Deepfakes mittlerweile relativ einfach von jedermann hergestellt werden können (Stichwort: Revenge Porn). Allerdings ist insoweit wiederum der oben genannte Gesetzeszweck eines Produktsicherheitsgesetzes zu beachten, der hier keine unmittelbar-individuellen Ansprüche bei einer Rechtsverletzung vermitteln soll. Insoweit ist auf bestehende nationale Regeln abzustellen, wie bspw. das deutsche Strafrecht und/oder zivilrechtliche Ansprüche nach §§ 823, 1004 BGB in Verbindung mit dem KunstUrhG.
Zudem enthält die KI VO weitergehende Pflichten für Anbieter von KI-Systemen, deren Erläuterung den hiesigen Rahmen sprengen würden, denen allerdings gemein ist, dass sie den rechtswidrigen Einsatz von KI-Systemen vorbeugen und erschweren sollen.
Interessant könnte allerdings sein, wie solche Unternehmen einzuordnen sind, die ein von einem anderen Unternehmen entwickeltes KI-System für einen eigenen Kundenkreis sozusagen lediglich durchleitet. Denn schon heute gibt es Anbieter, die bspw. die Auswahl verschiedener KI-Modelle anderer Hersteller für bestimmte Anfragen ihrer Nutzer zulassen, dem Nutzer allerdings wie ein „Hersteller“ des KI-Systems erscheinen können.
Wie müssen Deepfakes gekennzeichnet werden?
Nach Absatz 5 des Art. 50 KI VO müssen die zuvor genannten Informationen den betreffenden natürlichen Personen spätestens zum Zeitpunkt der ersten Interaktion oder Aussetzung in klarer und eindeutiger Weise bereitgestellt werden. Die Informationen müssen zudem den geltenden Barrierefreiheitsanforderungen entsprechen.
Der Wortlaut der Verordnung spricht ansonsten lediglich von einem „Offenlegen“.
Was darunter zu verstehen ist, konkretisiert die Verordnung zunächst für „Anbieter“.
Nach Art. 50 Abs. 2 KI VO müssen Anbieter von KI-Systemen, einschließlich KI-Systemen mit allgemeinem Verwendungszweck, die synthetische Audio-, Bild-, Video- oder Textinhalte erzeugen, sicherstellen, dass die Ausgaben des KI-Systems in einem maschinenlesbaren Format gekennzeichnet und als künstlich erzeugt oder manipuliert erkennbar sind. Ob für „Anbieter“ darüber hinaus auch eine menschenlesbare Form ausreichend wäre, ist bislang noch nicht geklärt, vgl. hierzu jedoch Landgericht Hamburg (Urteil vom 27.09.2024, 310 O 227/23).
Für „Betreiber“ dürfte eine rein maschinenlesbare Kennzeichnung jedoch nicht ausreichend sein, da der Nutzer bei Deepfakes vor allem einen klar erkennbaren Hinweis benötigt, um nicht getäuscht zu werden. Deshalb dürfte bei Betreibern, die Deepfakes veröffentlichen, ein sichtbarer menschenlesbarer Hinweis geboten sein, um den bestmöglichen Schutz vor Täuschung zu garantieren.
So spricht auch Erwägungsgrund 134 der KI VO davon, dass Betreiber bei Deepfakes insbesondere „klar und deutlich“ offenlegen sollten, dass die Inhalte künstlich erzeugt oder manipuliert wurden, indem sie die Ausgaben von KI „entsprechend“ kennzeichnen und auf ihren künstlichen Ursprung hinweisen.
Ab wann gilt die Kennzeichnungspflicht?
Nach Artikel 113 KI VO gelten diese Transparenzpflichten des Kapitel IV ab dem 2. August 2026.
Was droht, wenn die Kennzeichnungspflicht nicht erfüllt wird?
Verstöße gegen die Kennzeichnungspflicht bei einem Deepfake können nach Art. 99 Abs. 4 lit. b) KI VO durch ein Bußgeld durch eine nationale Behörde geahndet werden.
Danach sind für Verstöße Geldbußen von bis zu 15 000 000 EUR oder — im Falle von Unternehmen — von bis zu 3 % des gesamten weltweiten Jahresumsatzes des vorangegangenen Geschäftsjahres möglich, je nachdem, welcher Betrag höher ist.
Nach einem Gesetzesentwurf zum nationalen Durchführungsgesetz der europäischen KI-Verordnung ist als zuständige Behörde die Bundesnetzagentur vorgesehen.
Wird die Kennzeichnungspflicht nicht erfüllt wird, sind ggfls. zudem Abmahnungen zivil- und wettbewerbsrechtlicher Natur und strafrechtliche Maßnahmen vorstellbar.
Brauchen wir ein Gesetz gegen Deepfakes?
Ein spezifisches Gesetz gegen Deepfakes wird zunehmend diskutiert, da die technischen Möglichkeiten zur Erzeugung täuschend echter KI-generierter Inhalte rasant zunehmen und missbräuchliche Anwendungen immer öfter mediale Aufmerksamkeit erhalten.
Prominente Stimmen wie Marc-Uwe Kling fordern mittlerweile ein Herstellungsverbot für Deepfakes, um Manipulation und Desinformation frühzeitig einzudämmen.
International zeigt sich ein erheblicher Handlungsbedarf: Dänemark plant die Einführung eines spezifischen Gesetzes gegen Deepfakes, während in den USA mit dem „Take It Down Act“ und Italien als erstes Land in der EU bereits entsprechende Gesetze verabschiedet haben.
Auch Deutschland steht vor der Herausforderung, angemessen auf die Risiken einzugehen, die von Deepfakes ausgehen. Die aktuelle Rechtslage kennt zwar keine direkten Verbote für die Herstellung von Deepfakes, bietet Betroffenen aber bereits eine Fülle verschiedene Anspruchsgrundlagen:
Nach dem Urheberrechtsgesetz (UrhG) können Urheber gegen die unerlaubte Veränderung oder Verbreitung geschützter Werke vorgehen.
Im Markenrecht (MarkenG/UMV) kann der rechtswidrige Einsatz geschützter Marken verfolgt werden, und das Namensrecht schützt den Missbrauch des eigenen Namens.
Besonders praxisrelevant sind zudem das Kunsturhebergesetz (KUG) und der Persönlichkeitsrechtsschutz, die etwa bei täuschender Verwendung von Bildnissen und Stimmen greifen sowie die DSGVO, wenn personenbezogene Daten betroffen sind.
Bei gezielter Rufschädigung durch Deepfakes kann auch das Strafrecht Anwendung finden (z.B. Verleumdung nach § 187 StGB).
Eine wirkliche Schutzlücke besteht danach an und für sich nicht, wenn die die vorhandenen Mittel konsequent eingesetzt würden.
Das Fehlen eines spezifischen Deepfake-Gesetzes in Deutschland zeigt jedoch eine Schutzlücke, da KI-generierte Inhalte oft kreative Umgehung klassischer Vorschriften erlauben und die Ansprüche für Betroffene mühsam und nur auf den Einzelfall zugeschnitten durchgesetzt werden können. Die internationale Entwicklung und die Forderungen im öffentlichen Diskurs verdeutlichen jedoch, dass eine ausdrücklich geregelte, moderne Rechtsgrundlage verbunden mit einer entsprechenden abschreckenden Wirkung möglicherweise hilfreich wäre, damit Betroffene sich effektiv gegen die missbräuchliche Nutzung von Deepfakes wehren können.
Sie nutzen KI-generierten Content und fragen sich, ob und wie Sie diesen kennzeichnen müssen? Nehmen Sie jetzt Kontakt auf.