Healthcare-Hersteller bringt generative KI auf regulierte Daten mit selbst gehostetem Aleph Alpha Kolibri
Erfahren Sie, wie ein Healthcare-Hersteller mit StackVera Aleph Alpha Kolibri und offene Frontier-Modelle auf dedizierter Hardware in deutschen Rechenzentren betreibt, bereit in rund vier Tagen und ergänzend zu seinen Cloud-Diensten.
Herausforderung
Ein Healthcare-Hersteller in Deutschland sah die Chance, generative KI auf seinen internen Dokumenten zu nutzen. Einige der Dokumente mit dem größten Nutzen für KI unterliegen strengen regulatorischen Anforderungen. Sie müssen auf dedizierter Infrastruktur unter Kontrolle des Unternehmens bleiben, eine Verarbeitung bei einem Hyperscaler oder US-Anbieter kam deshalb nicht infrage. Die Teams konnten also genau die Daten nicht nutzen, auf die es am meisten ankam. Von der Cloud abwenden wollte sich das Unternehmen nicht. Es suchte eine zusätzliche Plattform für regulierte Daten: konform mit allen geltenden Vorschriften, in Deutschland gehostet und in der Lage, aktuelle Modelle auf dedizierter Hardware zu betreiben.
Vorgehen
Für den Aufbau der Plattform wandte sich das Unternehmen an StackVera. StackVera liefert sowohl auf Hyperscalern wie AWS als auch auf selbst betriebener Infrastruktur und konnte die Plattform deshalb als Ergänzung zu den bestehenden Cloud-Diensten planen, nicht als Ersatz. Weil StackVera die KI-Plattform bereits als erprobte Lösung betreibt, musste sie nicht von Grund auf neu entstehen. StackVera hostet die gesamte Plattform selbst, auf dedizierter Hardware in Rechenzentren deutscher Anbieter. Auf dieser Hardware stellte StackVera Kolibri bereit, ein Modell des deutschen KI-Unternehmens Aleph Alpha. Aleph Alpha richtet Kolibri an europäischen rechtlichen und regulatorischen Standards aus, einschließlich des EU AI Act und seiner Codes of Practice, und entwickelt es für sensible Workloads im öffentlichen Sektor und in der Industrie. Offene Frontier-Modelle laufen auf derselben Hardware, sodass die Teams für jede Aufgabe das passende Modell wählen können. Prompts, Antworten und Dokumente erreichen nie die Modell-API eines Drittanbieters. Anschließend stellte StackVera die relevanten Dokumente des Unternehmens konform auf der Plattform bereit. Erscheinen neue offene Modelle, kann StackVera sie ergänzen, ohne dass Daten die Plattform verlassen.
Ergebnis
Die Plattform stand dem Unternehmen nach rund vier Tagen zur Verfügung. Die Teams des Unternehmens nutzen generative KI jetzt auf Dokumenten, die sie vorher gar nicht verwenden konnten. Aleph Alpha Kolibri und offene Frontier-Modelle arbeiten mit regulierten Daten, die deutsche Rechenzentren nie verlassen, und das Unternehmen entscheidet, welche Modelle auf seiner Plattform laufen. Workloads ohne diese Anforderungen laufen weiterhin auf Cloud-Diensten. Künftig kann das Unternehmen weitere regulierte Daten und neue offene Modelle auf die Plattform bringen, wenn der Einsatz generativer KI wächst.