Amazon Bedrock im Gesundheitswesen: Jeder Token mit Budget
In zwei Wochen erhielten die Teams einer Gesundheitsorganisation 13 Anthropic- und Mistral-Modelle auf Amazon Bedrock in der EU, mit SSO und Token-Budgets.
Herausforderung
Die Mitarbeitenden einer Gesundheitsorganisation wollten generative KI in ihrer täglichen Arbeit nutzen. Ohne freigegebene Plattform griffen sie auf private Abos und eigene API-Keys zurück. Die IT konnte nicht nachvollziehen, welche Daten an welches Modell gingen, und das Controlling konnte KI-Kosten keinem Projekt zuordnen. Für eine Organisation, die mit Gesundheitsdaten arbeitet, war das nicht tragbar. Gebraucht wurde eine Plattform, die Daten in der EU verarbeitet, bestehende Unternehmensidentitäten nutzt und jedem Projekt-Owner die Kontrolle über die Kosten gibt.
Vorgehen
Die Organisation beauftragte StackVera, einen AWS-Partner, mit einer Architektur-Klärung: einem Proof of Concept mit festem Enddatum, zwei Wochen nach Start. StackVera machte Amazon Bedrock zum einzigen Zugang zu 13 Modellen von Anthropic und Mistral, bereitgestellt in AWS-Regionen in der EU mit EU-Cross-Region-Inference-Profilen. Modelle, die nur global routen, sind gesperrt. Amazon Bedrock nutzt Prompts und Antworten nicht zum Training von Modellen. Auf Amazon Bedrock baute StackVera ein Portal zur Benutzerverwaltung. Mitarbeitende melden sich mit dem bestehenden Single Sign-on an und wählen ein Projekt. Jede Anfrage wird auf dieses Projekt gebucht, Token für Token. Jedes Projekt erhält ein Credit-Budget. Ist es aufgebraucht, stoppen die Anfragen. Der Projekt-Owner prüft die Begründung und entscheidet über die Freigabe.
Ergebnis
Die Plattform ging nach zwei Wochen live. Alle Teams erreichen jetzt 13 Modelle mit einem Login. Jeder Token ist einem Projekt und seiner Kostenstelle zugeordnet, sodass das Controlling KI-Kosten dort verbucht, wo sie entstehen. Keine Anfrage verlässt die EU, und kein Projekt überschreitet sein Budget ohne Freigabe des Owners. Private KI-Abos und eigene API-Keys sind überflüssig, und die Organisation kann neue Modelle ergänzen, sobald Amazon Bedrock sie in der EU anbietet.