Unsere Projekte

KIVEDU

Welches Large Language Model eignet sich am besten?

“Evaluating Large Language Models and Prompt Variants on the Task of Detecting Cease and Desist Violations in German Online Product Descriptions” von Marian Lambert, Nico Döring, Thomas Schuster und Norbert Schmitz
Jetzt Studie downloaden
Ausgangslage

In den letzten Jahren wurden durch die zunehmende Popularität von E-Commerce-Plattformen immer mehr Produkte auf den Markt gebracht und online beworben. Einhergehend mit dieser Entwicklung ist leider auch eine Zunahme von Unternehmensaktivitäten, die die Rechte von Verbraucherinnen und Verbrauchern untergraben. Von irreführenden Produktbeschreibungen bis hin zu unaufrichtigen Werbeaussagen, die sowohl die Rechte der Verbraucher:innen gefährden als auch den fairen Wettbewerb stören, ist heute alles zu beobachten. So missachten nach einem Bericht von 2014 etwa 37% der Akteure im Internethandel in der EU die Verbrauchergesetze der Union. Dies führt zu erheblichen finanziellen Schäden für Verbraucher:innen im Wert von schätzungsweise 770 Millionen Euro jährlich.

Es liegt sowohl in der Verantwortung der Verbraucher:innen selbst als auch der Verbraucherschutzeinrichtungen, einschließlich Verbraucherschutzzentren und zentraler Wettbewerbszentren, diese Verstöße zu identifizieren. Nach einer Identifizierung holen die Verbraucherzentralen typischerweise eine rechtsverbindliche Unterlassungserklärung ein – ein Vertrag, in dem das beanstandete Unternehmen verspricht, das rechtswidrige Verhalten einzustellen und zukünftige Verstöße zu unterlassen. Doch die derzeitigen Prozesse zur Überwachung der Einhaltung der geltenden Rechtsvorschriften sind zeitaufwendig, kostenintensiv und handarbeitsschwer, da sie typischerweise manuell durchgeführt werden müssen. Dadurch bleibt die tatsächliche Einhaltung der Unterlassungserklärung oft ungeprüft, was es vielen Unternehmen ermöglicht, weiterhin Verbraucherrechte zu verletzen.

In Zusammenarbeit mit unseren Partnern vunk und Law & Audrey haben wir das KIVEDU-Forschungsprojekt gestartet, das sich diesem Problem unter Verwendung von KI-Technologien, insbesondere großer Sprachmodelle (Large Language Models), annimmt. Indem wir KI-gestützt Verstöße gegen Verbraucherrechte identifizieren, stärken wir die Rechte von Verbraucher:innen, erleichtern die Arbeit der Verbraucherschutzzentren und tragen somit zu einem fairen Wettbewerb bei. Neben der automatisierten Erkennung von Rechtsverletzungen dient das System auch zur Sammlung und Archivierung von Beweisen für Rechtsverletzung, die vor Gericht verwendet werden können.

Zina Al-Washash
Zina Al-Washash
Akademische Mitarbeiterin an der HS Pforzheim

„Das in unserem Projekt entwickelte KIVEDU-System nutzt KI, um Verstöße gegen Unterlassungsvereinbarungen zu identifizieren und zu dokumentieren. Eine effektive Unterstützung des Verbraucherschutzes!“

Projektstart

Zum Start des KIVEDU-Projekts haben wir zunächst eine umfassende Anforderungsanalyse durchgeführt, um die Bedürfnisse der Verbraucherschutzzentren zu verstehen und die Anforderungen an das System zu definieren. Dazu gehörten Interviews mit verschiedenen Verbraucherschutzzentren und Wirtschaftsunternehmen, die dazu dienten, die aktuellen Prozesse zur Überwachung der Einhaltung von Unterlassungserklärungen zu beleuchten. Auf Grundlage dessen haben wir ein Anforderungsdokument erstellt, welches die Anforderungen an das System beschreibt und als Grundlage für die weitere Entwicklung dient.

Zudem haben wir uns mit den technischen und rechtlichen Herausforderungen bei der Entwicklung von KI-Systemen für die Verbraucherrechtsdurchsetzung auseinandergesetzt. Dazu gehörte eine umfassende Literaturrecherche und die Befragung verschiedenster Expertinnen und Experten.

Unsere Erkenntnisse haben wir in einem wissenschaftlichen Artikel zusammengefasst, der noch in diesem Jahr im Rahmen der 15. Konferenz “PLAIS EuroSymposium on Digital Transformation” veröffentlicht wird.

Herausforderungen

Die Entwicklung eines KI-Systems zur Verbraucherrechtsdurchsetzung ist mit einer Reihe von Herausforderungen verbunden. Diese Herausforderungen können in zwei Kategorien unterteilt werden: rechtliche und technische Herausforderungen.

Rechtliche Herausforderungen

  1. Allgemein: Die rechtlichen Anforderungen sind grundlegend für die Entwicklung und Anwendung eines neuen Systems. Eine Nicht-Einhaltung kann zu Verboten, Ablehnungen oder rechtlichen Haftungen führen. Wir konzentrieren uns daher auf die “by-design” Lebenszykluskonformität.

  2. EU-DSGVO: Unsere Softwarearchitektur basiert hauptsächlich auf der Verarbeitung von Daten, weshalb Datenschutzgesetze im Mittelpunkt unserer rechtlichen Bewertung stehen. Wir müssen die Konformität sicherstellen und die Rechte der betroffenen Personen berücksichtigen.

  3. KI-Verordnung der EU: Neben dem Datenschutz beachten wir auch die rechtlichen Entwicklungen zur Regulierung von KI-Systemen. Die KI-Verordnung soll sicherstellen, dass KI-Systeme transparent, zuverlässig und sicher sind.

  4. Geistiges Eigentum: Bei der Entwicklung von KI-Software sollten die Entwickler ihre geistigen Eigentumsrechte verstehen und schützen. Dies beinhaltet beispielsweise die Verwendung von Geheimhaltungsvereinbarungen und die Achtung der Rechte der Anbieter bei der Verwendung von Open-Source-Anwendungen.

Technische Herausforderungen

  1. Auswahl des LLM: Die Auswahl eines geeigneten großen Sprachmodells (LLM) ist ein komplexer Prozess. Die Modelle können sich in verschiedenen Aspekten erheblich unterscheiden, insbesondere in Bezug auf Leistung, Verarbeitungsgeschwindigkeit, Kosten, Lizenzmodell und Datenschutzgarantien.

  2. Erklärbarkeit von KI: Ein Schlüsselproblem liegt in der inhärenten Komplexität der Entscheidungen. Da die Systeme oft auf komplizierten und hochdimensionalen Datenrepräsentationen basieren, kann es schwierig sein, die Logik hinter ihren Entscheidungen zu verstehen.

  3. Archivierung von Verstoßbeweisen: Eine bedeutende Herausforderung besteht nicht nur in der Identifizierung von Verstößen, sondern auch in der anschließenden Archivierung und Sicherung glaubwürdiger Beweise. Es ist essentiell, den Beweis auf eine Weise zu speichern, die jegliche Form von Löschung oder Manipulation ausschließt.

Aktueller Stand & Ausblick

Neben der Veröffentlichung eines wissenschaftlichen Artikels zu unserem Vorhaben, haben wir bereits einen ersten Prototypen des KIVEDU-Systems entwickelt. Dieser Prototyp ermöglicht das Hochladen einer Unterlassungserklärung und die automatische Prüfung einer manuell eingegebenen URL auf Verstöße gegen die hochgeladene Unterlassungserklärung. Im Fall eines Verstoßes wird automatisch ein Screenshot von der Webseite erstellt und ein statischer Export der Webseite abgespeichert. Unser Prototyp erreicht dabei eine Genauigkeit von ca. 90%.

Zudem haben wir uns genauer mit der Evaluierung der verschiedenen LLMs beschäftigt. Dazu haben wir einen KIVEDU-spezifischen Testdatensatz erstellt und sowohl Open Source als auch proprietäre LLMs darauf evaluiert. Hier konnten wir feststellen, dass die proprietären LLMs derzeit noch deutlich bessere Ergebnisse erzielen als die Open Source LLMs. Allerdings sind die proprietären LLMs auch deutlich teurer und bieten weniger Datenschutzgarantien. Daher werden wir in Zukunft versuchen, die Open Source LLMs durch Finetuning oder Few-Shot Prompting zu verbessern, um eine bessere Genauigkeit zu erreichen.

Das KIVEDU-Projekt steht derzeit noch ganz am Anfang, bringt jedoch das Potenzial einer grundlegenden Reformation der Verbraucherrechtsdurchsetzung in Deutschland und Europa mit sich. Wir freuen uns daher auf die weitere Zusammenarbeit mit unseren Partnern und sind gespannt, was die Zukunft bringt.