In den letzten Monaten verzeichnet die Comma Soft AG eine verstärkte Nachfrage nach unbedenklich in Unternehmen einsetzbarer und zugleich hochperformanter Generativer KI/GenAI. Mit dem Large Language Model (LLM) der Comma Soft AG, das in Deutschland gehostet werden kann und derzeit auf Llama 2 basiert, erhalten Konzerne und große Mittelständler nun eine datenschutz- und regulatorik-konforme Technologie, mit der sie GenAI für ihre spezifischen Business-Zwecke einsetzen können.
Jedes sechste Unternehmen plant laut dem Branchenverband Bitkom den Einsatz von Generativer KI. Gleichzeitig können sich Unternehmen derzeit nicht auf die Qualität von Tools wie ChatGPT verlassen, wie Wissenschaftler:innen der Universitäten Stanford und Berkeley in einer Studie kürzlich herausfanden. „Wir beobachten in den letzten Monaten eine zunehmende Nachfrage seitens unserer Kunden bei einer gleichzeitig kritischen Haltung gegenüber den auf dem Markt verfügbaren LLM-as-a-Service-Lösungen“, bestätigt auch Benjamin Schulte, COO der Comma Soft AG, und ergänzt: „Bei Unternehmen, die im europäischen Raum tätig sind, bestehen bei den Tools von US-Anbietern oftmals Bedenken, ob regulatorische Anforderungen ausreichend erfüllt werden.“ Diese Regularien umfassen bspw. die EU-DSGVO, das Geschäftsgeheimnisgesetz oder branchenspezifische Vorgaben. Hinzu kommt, dass im Business-Kontext eines spezifischen Unternehmens Trainingsdaten für GenAI-Lösungen benötigt werden, die in den bisherigen Tools nicht enthalten sind, z. B. vertrauliche Daten aus eigenen Informationssystemen. „Unternehmen suchen Antworten darauf, wie sie mit diesen Limitierungen umgehen können und fragen uns vermehrt um Rat, da wir mit unserer mehr als zehnjährigen Erfahrung in KI-Forschung, -Beratung und -Lösungsentwicklung für sie der erste Ansprechpartner sind. Mit unserem eigenentwickelten LLM bieten wir unseren Kunden nun die technologische Basis für eine unbedenkliche GenAI-Nutzung und unterstützen sie über den gesamten Prozess von der Evaluation über die Einführung bis zur produktiven Nutzung“, so Benjamin Schulte.
Unbedenklicher GenAI-Einsatz dank Open Source
Das LLM von Comma Soft basiert auf einem Open Source-Foundation-Modell, aktuell Llama 2 von Meta, und kann sowohl on-premises als auch in einer beliebigen Cloud-Umgebung gehostet werden, bspw. in Deutschland. „Unternehmen können damit eine unternehmenseigene GenAI-Lösung schaffen, bei der sie die volle Kontrolle über ihre Daten behalten, da diese nicht extern weitergegeben und auch nicht automatisch für das Modelltraining verwendet werden“, erklärt Dr. Andrej Fischer, Executive Manager und einer der GenAI-Expert:innen der Comma Soft AG. Die Unternehmen behalten so auch die volle Kontrolle, wenn es um das Nachtrainieren mit den unternehmenseigenen Daten geht. Dies ermöglicht es, das LLM für spezielle branchen- sowie fach- und unternehmensspezifische Anwendungsfälle nachzutrainieren sowie bestehende Fachanwendungen und Datenbanken per Plugin zu integrieren.
Mit dieser technologischen Basis können Unternehmen:
Skalierbarkeit und Performance ohne Kostenfalle
Die Einführung einer eigenen GenAI-Lösung stellt gerade für mittelständische Unternehmen eine große Herausforderung bezüglich der IT-Ressourcen dar. Aber auch Konzerne sind aufgrund ihrer hohen User-Zahlen darauf angewiesen, dass Performance und Kosten im Verhältnis zueinander stehen. Dr. Lars Flöer, Lead Consultant Artificial Intelligence der Comma Soft AG, entwickelt mit seinem Team das LLM dafür entsprechend skalierbar: „Im Gegensatz zu As-a-Service-Lösungen müssen Unternehmen bedenken, dass sie bei einem selbstbetriebenen LLM neben dem Modell und den Trainingsdaten auch eine entsprechende IT-Infrastruktur benötigen, insbesondere Kapazitäten für das Finetuning und Hosting. Für den großen Mittelstand und selbst für Konzerne ist dies oft mit hohen Investitionen und Umsetzungsrisiken verbunden. Daher war es uns wichtig, bei unserem LLM eine technologische Basis zu schaffen, die dieses Problem löst.“
Um eine sowohl kosteneffiziente als auch hochperformante Operationalisierung zu gewährleisten, setzt die Comma Soft AG bei ihrer LLM-Technologie u. a. auf die folgenden Bausteine:
Da derzeit viele Unternehmen vor der Herausforderung stehen, wie sie GenAI selbst kosteneffizient und sicher betreiben können, setzt sich Comma Soft für Entwicklungspartnerschaften ein, wie Benjamin Schulte betont: „Statt jeweils allein an einer Lösung zu arbeiten, können wir mit unserem ‚Schwarmwissen‘ viel mehr bewegen und einen weitaus größeren Nutzen erzielen. Wir laden daher alle interessierten Unternehmen dazu ein, mit uns in den Erfahrungsaustausch zu gehen und gemeinsam GenAI reif für den europäischen Markt zu machen.“
Wenn Sie sich zu diesem Thema austauschen oder bei der Entwicklung der LLM-Technologie von Comma Soft partnerschaftlich mitwirken möchten, wenden Sie sich an den LLM-Taskforce-Leiter der Comma Soft AG Dr. Valentin Kemper: Hier können Sie Kontakt aufnehmen.
Weitere Informationen finden Sie zudem hier:
Jedes sechste Unternehmen plant laut dem Branchenverband Bitkom den Einsatz von Generativer KI. Gleichzeitig können sich Unternehmen derzeit nicht auf die Qualität von Tools wie ChatGPT verlassen, wie Wissenschaftler:innen der Universitäten Stanford und Berkeley in einer Studie kürzlich herausfanden. „Wir beobachten in den letzten Monaten eine zunehmende Nachfrage seitens unserer Kunden bei einer gleichzeitig kritischen Haltung gegenüber den auf dem Markt verfügbaren LLM-as-a-Service-Lösungen“, bestätigt auch Benjamin Schulte, COO der Comma Soft AG, und ergänzt: „Bei Unternehmen, die im europäischen Raum tätig sind, bestehen bei den Tools von US-Anbietern oftmals Bedenken, ob regulatorische Anforderungen ausreichend erfüllt werden.“ Diese Regularien umfassen bspw. die EU-DSGVO, das Geschäftsgeheimnisgesetz oder branchenspezifische Vorgaben. Hinzu kommt, dass im Business-Kontext eines spezifischen Unternehmens Trainingsdaten für GenAI-Lösungen benötigt werden, die in den bisherigen Tools nicht enthalten sind, z. B. vertrauliche Daten aus eigenen Informationssystemen. „Unternehmen suchen Antworten darauf, wie sie mit diesen Limitierungen umgehen können und fragen uns vermehrt um Rat, da wir mit unserer mehr als zehnjährigen Erfahrung in KI-Forschung, -Beratung und -Lösungsentwicklung für sie der erste Ansprechpartner sind. Mit unserem eigenentwickelten LLM bieten wir unseren Kunden nun die technologische Basis für eine unbedenkliche GenAI-Nutzung und unterstützen sie über den gesamten Prozess von der Evaluation über die Einführung bis zur produktiven Nutzung“, so Benjamin Schulte.
Unbedenklicher GenAI-Einsatz dank Open Source
Das LLM von Comma Soft basiert auf einem Open Source-Foundation-Modell, aktuell Llama 2 von Meta, und kann sowohl on-premises als auch in einer beliebigen Cloud-Umgebung gehostet werden, bspw. in Deutschland. „Unternehmen können damit eine unternehmenseigene GenAI-Lösung schaffen, bei der sie die volle Kontrolle über ihre Daten behalten, da diese nicht extern weitergegeben und auch nicht automatisch für das Modelltraining verwendet werden“, erklärt Dr. Andrej Fischer, Executive Manager und einer der GenAI-Expert:innen der Comma Soft AG. Die Unternehmen behalten so auch die volle Kontrolle, wenn es um das Nachtrainieren mit den unternehmenseigenen Daten geht. Dies ermöglicht es, das LLM für spezielle branchen- sowie fach- und unternehmensspezifische Anwendungsfälle nachzutrainieren sowie bestehende Fachanwendungen und Datenbanken per Plugin zu integrieren.
Mit dieser technologischen Basis können Unternehmen:
- Eine auf ihre Anforderungen zugeschnittene GenAI-Lösung einführen
- Regulatorische & Compliance-Anforderungen nachweisbar erfüllen, z. B. die EU-DSGVO
- GenAI in deutscher Sprache mit hochwertiger Qualität nutzen
- Mitarbeiter:innen gezielt in ihren Arbeitsabläufen unterstützen
- Selbst bestimmen, wie ihre GenAI-Lösung gehostet wird, bspw. on-premises oder in einer deutschen Cloud-Umgebung
- Jetzt & in Zukunft flexibel & kosteneffizient weitere Anwendungsfälle abbilden
Skalierbarkeit und Performance ohne Kostenfalle
Die Einführung einer eigenen GenAI-Lösung stellt gerade für mittelständische Unternehmen eine große Herausforderung bezüglich der IT-Ressourcen dar. Aber auch Konzerne sind aufgrund ihrer hohen User-Zahlen darauf angewiesen, dass Performance und Kosten im Verhältnis zueinander stehen. Dr. Lars Flöer, Lead Consultant Artificial Intelligence der Comma Soft AG, entwickelt mit seinem Team das LLM dafür entsprechend skalierbar: „Im Gegensatz zu As-a-Service-Lösungen müssen Unternehmen bedenken, dass sie bei einem selbstbetriebenen LLM neben dem Modell und den Trainingsdaten auch eine entsprechende IT-Infrastruktur benötigen, insbesondere Kapazitäten für das Finetuning und Hosting. Für den großen Mittelstand und selbst für Konzerne ist dies oft mit hohen Investitionen und Umsetzungsrisiken verbunden. Daher war es uns wichtig, bei unserem LLM eine technologische Basis zu schaffen, die dieses Problem löst.“
Um eine sowohl kosteneffiziente als auch hochperformante Operationalisierung zu gewährleisten, setzt die Comma Soft AG bei ihrer LLM-Technologie u. a. auf die folgenden Bausteine:
- Optimierte Trainingsverfahren, bei denen nicht das gesamte Modell, sondern nur die relevanten Modelteile (nach-)trainiert werden, wodurch weniger Trainingsdaten und Hardware nötig sind (LoRa & QLoRA).
- Effizientes Hosting, bei dem das fertig trainierte LLM hardware-sparend mit wenigen der kostspieligen und z. T. schwer erhältlichen Grafikkarten betrieben wird (Inferenz-Quantisierung).
- Maximale Performanz und Skalierbarkeit, bei der auch Tausende Nutzer:innen dank dynamischer Lastverteilung ohne Verzögerungen zeitgleich auf das LLM zugreifen können (Continuous Batching, Autoscaling).
Da derzeit viele Unternehmen vor der Herausforderung stehen, wie sie GenAI selbst kosteneffizient und sicher betreiben können, setzt sich Comma Soft für Entwicklungspartnerschaften ein, wie Benjamin Schulte betont: „Statt jeweils allein an einer Lösung zu arbeiten, können wir mit unserem ‚Schwarmwissen‘ viel mehr bewegen und einen weitaus größeren Nutzen erzielen. Wir laden daher alle interessierten Unternehmen dazu ein, mit uns in den Erfahrungsaustausch zu gehen und gemeinsam GenAI reif für den europäischen Markt zu machen.“
Wenn Sie sich zu diesem Thema austauschen oder bei der Entwicklung der LLM-Technologie von Comma Soft partnerschaftlich mitwirken möchten, wenden Sie sich an den LLM-Taskforce-Leiter der Comma Soft AG Dr. Valentin Kemper: Hier können Sie Kontakt aufnehmen.
Weitere Informationen finden Sie zudem hier:
