Der große Hype um ChatGPT?! Chat with your Data
Sie suchen Ansprechpartner? Haben Fragen zum Zentrum? Oder wollen wissen, ob wir zu bestimmten Themen schon ein Projekt umgesetzt haben? - Dann haben wir das was für Sie.
Alle sind im ChatGPT-Fieber - Wir haben getestet, was das Large Language Model für uns tun kann. Herausgekommen ist dabei unser ChatBot. Fred stöbert blitzschnell durch die über 300 Webseiten unseres Zentrums, um relevante Informationen zusammenzutragen und so den Zugang zu Wissen zu erleichtern. Wir haben gestestet, wie ein ChatBot den Zugang zu Daten erleichtern kann und wie das möglichst sicher gestaltet werden kann.
Daten noch nutzerfreundlicher aufbereitet. Wissen noch leichter zugänglich.
Immer größere Datenmengen, komplexere Sammlungen und gleichzeitig weniger Zeit oder weniger Fachkräfte, die die Daten verarbeiten oder schnell die benötigten Zusammenhänge herstellen können - immer mehr Unternehmen stehen vor der Herausforderung die eigenen Daten möglichst nutzerfreundlich zu gestalten. Wir zeigen, wie mit ChatBots Datenmengen schneller erfasst werden, Informationen schnell zugänglich werden und Arbeitskräfte entlastet werden können.
Mit unserem ChatBot können wir zeigen, was bereits jetzt zum Beispiel auf der Basis von ChatGPT möglich ist. Denn wenn wir von ChatBots sprechen, fällt einem natürlich zuerst dieses Large Lanuage Model (LLM) ein. Um es nutzen zu können, ist Prompt-Engineering nötig, damit ChatGPT, oder ein anderes Large Language Model, die Anfrage, den sogenannten Prompt korrekt und passend verarbeiten kann. Wenn das gut funktioniert, kann mit allen Daten gechattet werden: Zusammenhänge aus Analysedaten zum Beispiel aus der Qulitätskontrolle werden schnell ersichtlich. Dei Dokumentationsdaten hilft der Bot passende Inhalte schnell zu finden. Und die Suche nach dem passenden Unternehmenswiki-Artikel kann schneller und vernetzter stattfinden. Oder wie wäre es wie bei unserem Zentrum mit einem Bot, der die Webseitendaten schnell zusammenfasst und passend auf die Fragen der Nutzerinnen und Nutzer antwortet?
Wir zeigen Ihnen, welche Voraussetzungen es braucht, um einen ChatBot online zu stellen. Dabei erläutern wir die Anfragenverarbeitung, die benötigten Systemkomponenten und regulatorische Hinweise. Sie haben Interesse und weitergehende Fragen? Dann melden Sie sich bei uns. Wir beantworten gerne Ihre Fragen und senden Ihnen detailliertere Dokumentationen oder weitere Informationen/Vorlagen zu den regulatorischen Anforderungen.
So läuft eine Anfrage an den ChatBot ab
Der User stellt über das User Interface (UI) eine Frage an Fred den ChatBot, die zuerst von einem Sicherheitsmodell (grüne linke Wolke) überprüft wird, um sicherzustellen, dass die Anfrage inhaltlich sich auf das Mittelstand Digitalzentrum bezieht. Ist dies nicht der Fall wird der Nutzer mit einem Hinweis gebeten nur Anfragen mit Mittelstand Digitalzentrum Bezug zu stellen.
Eine zugelassene Frage wird mithilfe eines sogenannten Embedding-Modells in einen Vektor umgewandelt. Dieser Vektor ist eine mathematische Darstellung der Bedeutung der Frage. Das gleiche Modell wurde auch verwendet, um alle Dokumente in der Datenbank in Vektoren umzuwandeln.
Anschließend nutzt das System diesen Vektor, um in einer Vektor-Datenbank nach den ähnlichsten Vektoren zu suchen. Die Idee dahinter ist, dass ähnliche Vektoren auf Texte verweisen, die inhaltlich gut zur Frage passen. So findet das System die relevantesten Dokumente oder Textpassagen.
Die ausgewählten Dokumente werden dann durch einen Prozess namens Indexierung identifiziert und mit der ursprünglichen Frage in einen speziellen Textbaustein, den sogenannten Prompt, eingefügt. Dieser Prompt wird an ein Large Language Model (LLM) (rechte grüne Wolke) gesendet, das auf Basis der bereitgestellten Informationen eine passende Antwort generiert.
Nachdem die Antwort erstellt wurde, wird sie nochmals überprüft, eventuell leicht bearbeitet (Post-Processing) und dem Nutzer in verständlicher Form in der UI präsentiert.
Und diese Komponenten braucht Fred dafür
Auf einem Server von uns läuft die Infrastruktur die für den reibungslosen Betrieb des Chatbots nötig ist. Die Oberfläche in der der User mit Fred chatten kann wird als Frontend direkt auf dem Server betrieben. Dieses Leitet die Eingaben des Users zur Verarbeitung an das Backend weiter und präsentiert auch die Ergebnisse der Anfragen, die aus dem Backend zurück kommen, wieder dem User.
Im Backend werden die gestellten Anfragen verarbeitet. Die Anfragen werden verteilt und weitere Informationen aus anderen Systemen einbezogen.
In der eigenständigen Datenbank, die auf einem eigenen abgetrennten Server liegt, werden die spezifischen Informationen zum Mittelstand-Digital Zentrum abgelegt, die bei jeder Anfrage abgeglichen werden.
Die direkte Verarbeitung der natürlichen Sprache, die der User in das Chatfenster eingibt, findet nur zum Teil auf dem eigenen Server statt. Für das Interpretieren des Textes und die Übersetzung in maschinenverständliche Sprache sind die so genannten Large Language Modelle (LLM) nötig. Dazu wird der eingegebene Text über Schnittstellen an einen externen Service geschickt der diese Verarbeitung übernimmt. Es wird dann das verarbeitete Ergebnis wieder an den Server zurückgeschickt.
ChatBot Fred - wie KI-Lösungen sicher gestaltet werden können
Unser ChatBot Fred steht Ihnen als kostenloser Service zur Verfügung, um Fragen rund um das Mittelstand-Digital Zentrum Schleswig-Holstein zu beantworten. Dabei ist uns nicht nur die Benutzerfreundlichkeit wichtig, sondern auch Ihre Sicherheit.
Um sicherzustellen, dass Fred Ihnen verlässliche und unbedenkliche Informationen bietet, haben wir eine umfangreiche Risikobewertung gemäß der Norm ISO 14971 durchgeführt. Diese dient dazu, mögliche Risiken frühzeitig zu erkennen und zu minimieren. In einer sogenannten Fehlermöglichkeits- und Einflussanalyse (FMEA) untersuchen wir potenzielle Risiken und treffen gezielte Maßnahmen, um falsche, beleidigende oder rechtlich bedenkliche Inhalte zu vermeiden. Das stellt sicher, dass Sie FRED ohne Bedenken nutzen können.
Mit Blick auf die Zukunft haben wir Fred zudem so gestaltet, dass er den Anforderungen des AI Act entspricht, der seit August 2024 in Kraft getreten ist. Diese Vorgaben werden spätestens ab August 2026 für alle Hersteller verpflichtend, und wir setzen diese bereits heute um, um auch für die Zukunft abgesichert zu sein.
Das Beste? Unsere Herangehensweise kann Ihnen als Blaupause dienen, wenn Sie ähnliche KI-Lösungen entwickeln möchten. Wir stellen Ihnen unserer Erfahrungen zur Verfügung. So können Sie komplett nachvollziehen, wie eine KI-Lösung möglichst sicher und risikoarm gestaltet werden kann.
Sie wollen KI-Projekte im Unternehmen angehen? Dann melden Sie sich gern
- 0451 3101-5741
- E-Mail schreiben
