Wie Künstliche Intelligenz Ihre privaten Daten preisgeben kann

Ihre (neuronalen) Netzwerke haben Lecks

Forscher von Universitäten in den USA und der Schweiz haben in Zusammenarbeit mit Google und DeepMind ein Papier veröffentlicht, das zeigt, wie Daten aus Bildgenerierungssystemen, wie sie die maschinellen Lernalgorithmen DALL-E, Imagen oder Stable Diffusion verwenden, an die Öffentlichkeit gelangen können. Benutzerseitig funktionieren alle gleich: Sie geben eine bestimmte Textabfrage ein – beispielsweise „ein Sessel in Form einer Avocado“ – und erhalten im Gegenzug ein generiertes Bild.

Vom neuronalen Netzwerk Dall-E generiertes Bild. Quelle: https://openai.com/blog/dall-e

Alle diese Systeme werden mit einer großen Anzahl (Zehn- oder Hunderttausenden) von Bildern mit vorgefertigten Beschreibungen trainiert. Die Idee hinter solchen neuronalen Netzen ist, dass sie durch die Verarbeitung großer Mengen an Trainingsdaten neue, einzigartige Bilder erstellen. Das wichtigste Ergebnis der neuen Studie ist jedoch, dass diese Bilder gar nicht so einzigartig sind. In einigen Fällen ist es möglich, das neuronale Netzwerk zu zwingen, ein zuvor für das Training verwendete Originalbild fast identisch zu reproduzieren. Und das bedeutet, dass neuronale Netze ungewollt private Informationen preisgeben können.

Vom neuronalen Netzwerk Stable Diffusion generiertes Bild (rechts) und das Originalbild aus dem Trainingssatz (links). Quelle.

Mehr Daten für den „Datengott“

Die Ausgabe eines lernfähigen Systems als Antwort auf eine Abfrage kann einem Nicht-Spezialisten wie Zauberei vorkommen: „Puh – das ist wie ein allwissender Roboter!“! Aber tatsächlich ist da keine Magie im Spiel …

Alle neuronalen Netze funktionieren mehr oder weniger gleich: Es wird ein Algorithmus erstellt, der anhand eines Datensatzes trainiert wird – beispielsweise einer Serie von Bildern von Katzen und Hunden – mit einer Beschreibung dessen, was in jedem Bild genau dargestellt wird. Nach dem Training wird dem Algorithmus ein neues Bild angezeigt und er wird aufgefordert, herauszufinden, ob es sich um eine Katze oder einen Hund handelt. Ausgehend von diesen bescheidenen Anfängen wandten sich die Entwickler solcher Systeme einem komplexeren Szenario zu: Ein Algorithmus, der mit vielen Katzenbildern trainiert wurde, erstellt auf Anfrage das Bild eines Haustieres, das es nie gegeben hat. Solche Experimente werden nicht nur mit Bildern, sondern auch mit Text, Video und sogar Sprache durchgeführt: Über das Problem der Deepfakes (also Videos, in denen (meist) Politikern oder Prominenten Dinge in den Mund gelegt werden, die sie nie gesagt haben) haben wir bereits berichtet.

Ausgangspunkt für alle neuronalen Netze ist Satz von Trainingsdaten: Neuronale Netze können keine neuen Entitäten aus dem Nichts erfinden. Um das Bild einer Katze zu erstellen, muss der Algorithmus Tausende von echten Fotos oder Zeichnungen dieser Tiere analysieren. Es gibt viele Argumente dafür, diese Datensätze nicht an die Öffentlichkeit zu geben. Einige von ihnen sind frei zugänglich; andere Datensätze sind geistiges Eigentum des Entwicklerunternehmens, das viel Zeit und Mühe investiert hat, um sich einen Wettbewerbsvorteil zu verschaffen. Andere wiederum stellen per Definition sensible Informationen dar. Beispielsweise laufen Experimente, um neuronale Netze zur Diagnose von Krankheiten auf der Grundlage von Röntgenstrahlen und anderen medizinischen Untersuchungen zu verwenden. Dies bedeutet, dass die algorithmischen Trainingsdaten die tatsächlichen Gesundheitsdaten von echten Menschen enthalten, die aus offensichtlichen Gründen nicht in falsche Hände geraten dürfen.

Diffusion

Obwohl Algorithmen von lernfähigen Systemen für Außenstehende gleich aussehen, unterscheiden sie sich in Wirklichkeit. In ihrer Arbeit widmen die Forscher den Diffusionsmodellen des maschinellen Lernens besondere Aufmerksamkeit. Sie funktionieren wie folgt: Die Trainingsdaten (wiederum Bilder von Menschen, Autos, Häusern usw.) werden durch Rauscheffekte verzerrt. Anschließend wird das neuronale Netz darauf trainiert, solche Bilder wieder in ihrem ursprünglichen Zustand herzustellen. Diese Methode ermöglicht es, Bilder von einigermaßen guter Qualität zu erzeugen, aber ein potenzieller Nachteil (im Vergleich zu Algorithmen in generativen gegnerischen Netzwerken beispielsweise) ist ihre größere Tendenz zur Freigabe der Daten.

Die Originaldaten können auf mindestens drei Arten daraus extrahiert werden: Erstens können Sie das neuronale Netzwerk mithilfe bestimmter Abfragen dazu zwingen, ein bestimmtes Quellbild auszugeben statt eines einzigartigen, auf der Grundlage von Tausenden von Bildern generierten Bilds. Zweitens kann das Originalbild auch dann rekonstruiert werden, wenn nur ein Teil davon verfügbar ist. Drittens kann einfach festgestellt werden, ob ein bestimmtes Bild in den Trainingsdaten enthalten ist oder nicht.

Sehr oft sind neuronale Netze … faul, und statt eines neuen Bildes erzeugen sie etwas aus dem Trainingssatz, wenn dieser mehrere Duplikate desselben Bildes enthält. Neben dem obigen Beispiel mit dem Foto von Ann Graham Lotz liefert die Studie noch einige andere ähnliche Ergebnisse:

Ungerade Zeilen: die Originalbilder. Gerade Zeilen: Bilder, die von Stable Diffusion V1.4 generiert wurden. Quelle.

Wenn ein Bild im Trainingssatz mehr als hundert Mal dupliziert wird, besteht eine sehr hohe Wahrscheinlichkeit, dass es nahezu in Originalform preisgegeben wird. Forscher konnten jedoch auch Beispiele zeigen, in denen Trainingsbilder abgerufen wurden, die im Originalsatz nur einmal vorkamen. Diese Methode ist weitaus weniger effizient: Von fünfhundert getesteten Bildern hat der Algorithmus nur drei zufällig neu erstellt. Eine besonders ausgeklügelte Methode, ein neuronales Netzwerk anzugreifen, besteht darin, ein Quellbild neu zu erstellen, indem nur ein Fragment davon als Eingabe verwendet wird.

Die Forscher baten das neuronale Netzwerk, das Bild zu vervollständigen, nachdem ein Teil davon gelöscht worden war. Auf diese Weise kann ziemlich genau ermittelt werden, ob ein bestimmtes Bild in der Trainingsmenge enthalten war. Wenn dies der Fall war, generierte der Algorithmus des lernfähigen Systems eine fast exakte Kopie des Originalfotos oder der Originalzeichnung. Quelle.

An dieser Stelle sollten wir uns der Frage der neuronalen Netze und des Urheberrechts zuwenden.

Wer hat wem etwas gestohlen?

Im Januar 2023 verklagten drei Künstler die Macher von Bild generierenden Diensten, die lernfähige Algorithmen verwendeten. Sie behaupteten (zu Recht), dass die Entwickler der neuronalen Netze sie mit Bildern trainiert hatten, die im Internet gesammelt wurden, ohne das Urheberrecht zu beachten. Ein neuronales Netzwerk kann tatsächlich den Stil eines bestimmten Künstlers kopieren und ihn so um seine Einkünfte bringen. Der Artikel weist darauf hin, dass Algorithmen aus verschiedenen Gründen regelrechte Plagiate erstellen können, wobei Zeichnungen, Fotografien und andere Bilder erzeugt werden, die mit der Arbeit realer Menschen fast identisch sind.

Die Studie gibt Empfehlungen zur Stärkung der Privatsphäre des ursprünglichen Trainingssatzes:

• Duplikate entfernen.
• Trainingsbilder neu verarbeiten, beispielsweise durch Hinzufügen von Rauschen oder Ändern der Helligkeit; dadurch wird die Preisgabe von Daten weniger wahrscheinlich.
• Den Algorithmus mit speziellen Trainingsbildern testen und sicherstellen, dass er sie nicht versehentlich exakt reproduziert.

Wie geht es weiter?

Aus den ethischen und juristischen Fragen der generativen Kunst ergibt sich sicherlich eine interessante Debatte, in der ein Gleichgewicht zwischen den Künstlern einerseits und den Entwicklern dieser Technologie andererseits gesucht werden muss. Zum einen muss das Urheberrecht gewahrt bleiben. Zum anderen stellt sich die Frage, ob Computerkunst so viel anders ist als die menschliche? In beiden Fällen lassen sich die Macher von den Werken von Kollegen und Konkurrenten inspirieren.

Aber lassen Sie uns auf den Boden der Tatsachen zurückkommen und über Sicherheit sprechen. Das Papier enthält eine Reihe spezifischer Fakten zu nur einem Modell des maschinellen Lernens. Wenn wir das Konzept auf alle ähnlichen Algorithmen ausweiten, kommen wir zu einem interessanten Ergebnis. Es ist nicht schwer, sich ein Szenario vorzustellen, in dem ein intelligenter Assistent eines Mobilfunkanbieters als Reaktion auf eine Benutzeranfrage vertrauliche Unternehmensinformationen preisgibt, die einfach nur in den Trainingsdaten enthalten waren. Oder eine listige Abfrage könnte ein öffentliches neuronales Netzwerk dazu bringen, eine Kopie des Reisepasses einer Person zu erstellen. Forscher betonen, dass solche Probleme vorerst theoretisch bleiben.

Aber andere Probleme sind bereits Realität geworden. Während wir hier sprechen, wird das Text generierende neuronale Netzwerk ChatGPT verwendet, um echten Schadcode zu schreiben, der (manchmal) funktioniert. Und GitHub Copilot hilft Programmierern, Code zu schreiben, wobei eine große Menge an Open-Source-Software als Eingabe verwendet wird. Und das Tool respektiert nicht immer das Urheberrecht und die Privatsphäre der Autoren, deren Code in den umfangreichen Trainingsdaten gelandet ist. Mit der Weiterentwicklung neuronaler Netze entwickeln sich auch die Angriffe auf sie – mit bislang unabsehbaren Folgen.