Seit der ersten Stunde beschäftigt sich die DAHAG mit den neuesten Technologien, um die Potenziale, die sich am Horizont der fortschreitenden Digitalisierung abzeichnen, frühzeitig zu erkennen und für den Rechtsmarkt zu nutzen. Insbesondere die Bereiche künstliche Intelligenz und Machine Learning versprechen die nötigen Mittel, mithilfe derer wir Prozesse beschleunigen und dadurch Herausforderungen wie dem bereits heute akuten Anwaltsmangel begegnen können.
Informationen über die Autorin
Verena Gangkofer – Projektleitung
Sie haben weitere Fragen zum Produkt?
Schreiben Sie an verena.gangkofer@dahag.de
Im öffentlichen Diskurs hat im vergangenen Jahr vor allem eine KI auf sich aufmerksam gemacht – die Rede ist natürlich von ChatGPT, einem textbasierten Dialogsystem. ChatGPT kann auf Befehl nicht nur Gedichte schreiben oder Dialoge führen, sondern auch längere, komplexe Texte auf ihre wichtigsten inhaltlichen Punkte herunterbrechen. Die DAHAG hat deshalb bereits Anfang des Jahres 2023 einen Versuch gestartet und sich die Frage gestellt: Kann ChatGPT ein Protokoll einer telefonischen Rechtsberatung erstellen? (Das Ganze haben wir mit echten Beratungen zwischen DAHAG-Mitarbeitern und Partnerkanzleien getestet. Alle Teilnehmer haben den Parametern vorab zugestimmt.)
Warum digitale Beratungsprotokolle?
Die Vorteile eines automatisch erstellten Protokolls liegen auf der Hand: Die Anwältinnen und Anwälte müssten während des Telefonats mit Versicherungsnehmern nicht mehr nebenbei mitschreiben oder sich im Nachgang die Mühe machen, noch einmal alles bereits Gesagte zu rekapitulieren; stattdessen könnten sie sich voll und ganz auf ihre Kerntätigkeit, die Rechtsberatung, konzentrieren. Den Versicherungsnehmern könnte man indessen ein Dokument an die Hand geben, das die Aussagen des Anwalts „schwarz auf weiß“ zusammenfasst. So ließe sich die rechtliche Einschätzung zuhause noch einmal in Ruhe nachlesen oder sie könnte auch der Gegenpartei, zum Beispiel dem Arbeitgeber oder dem Vermieter, vorgezeigt werden. Eine echte Win-Win-Situation.
Fokus: Was ist technisch gesehen möglich?
Der Fokus des Tests im Frühjahr lag also primär auf der Frage, was technisch gesehen überhaupt machbar ist, sprich wie gut sich Audioaufnahmen einer telefonischen Rechtsberatung transkribieren und zusammenfassen lassen. Dafür musste unter anderem geklärt werden, welche Programme für diese Zwecke am besten geeignet sind. Hier konnten wir glücklicherweise auf Anwendungen zurückgreifen, die in der DAHAG schon in anderen Bereichen genutzt werden.
Als wir alle Daten beisammenhatten, war die KI am Zug. Wir kopierten die Transkripte der Audiofiles nacheinander in die Eingabeleiste und forderten ChatGPT auf, eine Zusammenfassung davon zu erstellen. Der Testlauf bestand aus zwei Durchgängen: Zunächst ließen wir die fertigen Transkripte durch die kostenlose Version ChatGPT-3.5 laufen, anschließend durch den damals gerade neu veröffentlichten leistungsstärkeren Nachfolger GPT-4.
Während die kostenlose Version GPT-3.5 oft noch unsauber relevante Inhalte von irrelevanten Inhalten unterschied und teils völlig frei etwas hinzudichtete, sorgten die ersten Ergebnisse von GPT-4 intern für größere Begeisterung. GPT-4 lieferte für alle 5 Transkripte nahezu lückenlose Zusammenfassungen und ging konkreter auf die Probleme und Lösungsvorschläge der Beratung ein. Aber auch diese Ergebnisse waren noch nicht perfekt – doch möglicherweise lag dies weniger an der Technik und mehr an den Prompt?
Der Prompt macht den Unterschied
Im Anschluss experimentierten wir daher mit verschiedenen Eingabebefehlen, sogenannten Prompts, um zu prüfen, ob sich das Endresultat dadurch verändert. Dabei stellten wir fest, dass die Formulierung des Prompts eine große Auswirkung auf den Output haben kann. So brachte beispielsweise der Prompt “Was hat RA (Rechtsanwalt) dem VN (Versicherungsnehmer) geraten?“ ein anderes Ergebnis als der Prompt “Welche Ratschläge erteilt RA dem VN?“, obwohl es semantisch gesehen keinen Unterschied gibt. Außerdem baten wir ChatGPT diesmal nicht um eine allgemeine Zusammenfassung, sondern um eine getrennte Auflistung: auf der einen Seite die Fragen und Probleme des Versicherungsnehmers, auf der anderen die Ratschläge und Empfehlungen des Anwalts.
Dank dieser Methode wurden zwar einzelne Punkte etwas exakter wiedergegeben, aber die Zusammenfassungen wiesen zum Teil noch immer große Lücken auf. Den Prompt verfeinerten wir über die Monate weiter und experimentierten auch mit unterschiedlichen Gliederungen der Beratungsprotokolle. Bei Anrede, Ansprache, aber auch Formulierungen machten vor allem Parameter wie die „temperature“ große Unterschiede. Diese gibt an, wie sachlich ein Protokoll beispielsweise formuliert sein soll oder ob die Anrede an den Mandanten freundlich oder eher distanziert ausfallen soll. So wurde aus dem ursprünglichen „Welche Ratschläge erteilt RA dem VN?“ ein mehrzeiliger Prompt mit genauen Anweisungen an die KI, wie das fertige Beratungsprotokoll aussehen und formuliert sein soll.
DAHAG arbeitet an Protokoll-Piloten mit echten Mandanten
So überzeugend diese 5 GPT-4-Protokollentwürfe im Frühjahr auch waren – es bleibt abzuwarten, ob GPT diese Qualität auch bei größeren Stückzahlen halten kann. Anders als bei irgendwelchen Legal-Startups erwartet der VN bei Rechtsberatungen via Rechtsschutz ein fehlerfreies Beratungsergebnis, ebenso wie man als Fahrgast eines autonomen Mercedes keine Unfallquote von „nur“ 5% aller Fahrten akzeptieren würde.
Darum bereitet die DAHAG derzeit einen Piloten vor, bei dem zunächst 100-200 Protokolle mit 0900-Anrufern erstellt werden. Daraus wollen wir die Akzeptanz der Anrufer zum Aufzeichnen der Beratungen ermitteln, die Haltung der Anwälte zur „gläsernen Beratung“ in Erfahrung bringen, die Zustimmungsprozesse ausprobieren und die optimalen Workflows testen – und natürlich auch die Zufriedenheit der Anrufer mit ihren Anwaltsprotokollen abfragen.
Da dieser Pilot mit echten Mandanten durchgeführt werden soll, musste eine passende technische Infrastruktur aufgebaut werden, die den nötigen Datenschutz und die Compliance gewährleisten. So sollen im Testfeld Mandanten über eine Landingpage einen Rückruf anfordern können und dort bereits die Zustimmung zur Aufzeichnung der Beratung und zur Verarbeitung des Transkriptes geben. Anschließend erhalten sie einen Rückruf durch eine teilnehmende Partnerkanzlei über die DAHAG-Telefonsoftware, die das Telefonat aufzeichnet und das Audiofile anschließend datenschutzsicher auf den Servern der DAHAG abspeichert. Von hier aus folgt die weitere Verarbeitung. In diesem Rahmen wurden auch deutliche Verbesserungen an den Tools vorgenommen, durch die die automatische Transkription und Anonymisierung der Beratung erfolgt. Das Ziel ist es, die Fehlerquoten vor allem bei der Anonymisierung zu minimieren, damit so wenig wie möglich „händische“ Arbeit nötig wird. Erst wenn das Beratungstranskript vollständig anonymisiert ist, verlässt es die Server der DAHAG. Und da sich auch bei ChatGPT seit Beginn des Jahres einiges getan hat, arbeitet die DAHAG mittlerweile mit der noch leistungsstärkeren Microsoft-Schnittstelle direkt zu GPT.
Quasi als Generalprobe für die Technik, aber auch um unseren Prompt an neuen Transkripten zu testen, fand im November 2023 ein weiterer Test inhouse mit Partnerkanzleien und DAHAG-Mitarbeitern statt. Primär wollten wir bei diesem Test herausfinden, wie lange die beratenden Anwälte am Ende für die Prüfung und Verbesserung des Protokolls benötigen und welche Note Anwalt und „Mandant“ dem Protokoll geben. Das Ergebnis war mehr als zufriedenstellend. Die Beratungsprotokolle, die ChatGPT in diesem Test produzierte, verfügten dank des häufig verprobten und modifizierten Prompts über eine 3-teilige Gliederung in Ausgangssituation, in der die Rechtsfrage genannt und kurz zusammengefasst wurde, einen Abschnitt zur geltenden Rechtslage und anschließend die Ratschläge des beratenden Anwalts in Stichpunkten.
Beispiel für ein Beratungsprotokoll
Ausgangssituation:
Sie möchten Ihren Arbeitsvertrag kündigen, da Sie ein neues Jobangebot haben. Unsicherheit besteht bezüglich der Kündigungsfrist, die in Ihrem Vertrag wie folgt formuliert ist: „Nach Ablauf der Probezeit gilt eine Kündigungsfrist von einem Monat zum Ende des Kalendervierteljahres.“ Sie möchten wissen, was das konkret bedeutet und ob eine Kündigung zum gewünschten Zeitpunkt möglich ist.
Rechtslage:
Die im Vertrag festgehaltene Kündigungsfrist von einem Monat zum Ende des Kalendervierteljahres bedeutet, dass die Kündigung jeweils zum Ende eines Quartals wirksam wird, also zum 31. März, 30. Juni, 30. September oder 31. Dezember. Die Kündigung muss dabei so rechtzeitig eingereicht werden, dass sie mindestens einen Monat vor dem jeweiligen Quartalsende beim Arbeitgeber eingeht. Es ist wichtig, dass die Kündigung in Schriftform erfolgt und Sie einen Nachweis über die Zustellung an den Arbeitgeber haben.
Ratschläge:
- Wenn Sie zum 1. Januar den neuen Job antreten möchten, sollten Sie die Kündigung so schnell wie möglich einreichen, damit sie spätestens am 30. November bei Ihrem Arbeitgeber eingeht.
- Stellen Sie sicher, dass die Kündigung schriftlich erfolgt. Eine mündliche Kündigung ist nicht ausreichend.
- Legen Sie die Kündigung Ihrem Arbeitgeber am besten persönlich vor, um sicherzustellen, dass sie rechtzeitig ankommt.
- Sorgen Sie für einen Nachweis der Zustellung der Kündigung, beispielsweise durch ein Übergabeprotokoll oder einen Einschreiben-Rückschein, um im Streitfall belegen zu können, dass die Kündigung fristgerecht erfolgt ist.
Indem Sie diese Schritte befolgen, können Sie sicherstellen, dass Ihre Kündigung rechtswirksam ist und Sie Ihren neuen Job wie geplant am 1. Januar antreten können.
Auf diese Weise konnten die Anwälte bei der anschließenden Prüfung der Protokolle die einzelnen Punkte ganz einfach mit ihrer Falldokumentation vergleichen und auf Vollständigkeit prüfen. In nur sehr wenigen Fällen mussten einzelne Formulierungen verändert oder ein explizites Datum hinzugefügt werden, sodass die Verbesserung der Protokolle allesamt in unter 10 Minuten erledigt werden konnte.
Nun zu der spannenden Frage: Wie gut waren die Protokolle? Lediglich eines erhielt eine Note von 2-. Alle anderen wurden, sowohl von den Anwälten als auch von den DAHAG-Mitarbeitern, die sich beraten ließen, mit den Noten 1-2 bewertet.
Fazit: Viel Potential – aber auch große Herausforderungen
Die von GPT-4 erzeugten Protokoll-Entwürfe sind etwa eine Seite lang. Im Live-Betrieb würde der beratende Anwalt diese Entwürfe mit seinem Kanzleibriefkopf und seiner Signatur an den Mandanten=VN versenden. Es muss also jeder Protokoll-Entwurf wie in unserem internen Test mit der nötigen Sorgfalt durchgeprüft werden, da der Anwalt für seine verschriftlichte Beratung haftet. Gegebenenfalls muss der Anwalt manuelle Anpassungen und Ergänzungen vornehmen und zwar nicht nur dann, wenn GPT unklar formuliert, sondern auch, wenn er beim Lesen selbst merkt, dass er seinen telefonischen Rat um einen oder mehrere Aspekte ergänzen sollte.
Ein Protokoll von Hand zu schreiben, kostet den Anwalt 30 bis 60 Minuten, je nach Komplexität des Rechtsfalls. Wenn GPT den Netto-Aufwand samt Prüfung und Anpassungen auf rund 10 Minuten reduzieren kann, wäre man in einem kalkulatorisch darstellbaren Zeitrahmen, wobei auch die Entwicklungskosten und die Kosten für die zahlreichen KI-Schritte zu berücksichtigen sind.
Allerdings: In Zeiten des strukturellen und dauerhaften Anwaltsmangels kämen diese 10 „Protokoll-Minuten“ ja noch zur vorherigen Telefonberatung, die auch im Schnitt ca. 10 Minuten dauert, on top hinzu. Der VN hätte zwar einen genialen Service und auch die Folgeschadenkosten würden drastisch reduziert. Die ohnehin knappe Ressource Anwalt würde durch das Produkt „Protokoll“ allerdings nochmals massiv beansprucht. Dazu kommt: Der Anwalt sollte den Protokoll-Entwurf prüfen, wenn er ganz „frisch“ ist – idealerweise also unmittelbar nach der Telefonberatung. Die Prozessschritte Transkription des Audiofiles, Anonymisierung des Transkripts und schließlich die Verarbeitung durch GPT dauern derzeit knapp fünf Minuten. In dieser Wartezeit wäre der Anwalt für weitere Telefonberatungen blockiert.
Dennoch: Digitale Protokolle sind, wie wir gesehen haben, keine Zukunftsmusik mehr, sondern technisch durchaus realisierbar. Die Herausforderung besteht nun darin, für diese Chancen einen skalierbaren Rahmen zu schaffen und sie für die eigenen Abläufe so zu implementieren, dass sie auch den gesetzlichen Datenschutzbestimmungen gerecht werden. Gerade jetzt gilt es aufmerksam zu bleiben, denn ChatGPT hat in der Sprachverarbeitung neue Maßstäbe gesetzt, die den Wettbewerb weiter anheizen werden.
Die Telefonberatung kann durch das Anwaltsprotokoll auf einen ganz neuen Qualitäts-Level gehoben werden. Und Rechtsschutz wird nicht nur massiv bei den Folgekosten sparen, sondern wird seinen Kunden einen innovativen und extrem nützlichen Rechtsservice anbieten können.