Gen AI erfolgreich in Organisationen skalieren – Herausforderungen und Lösungen auf Basis eines Cloud Target Operating Models

Einführung und Motivation zu Cloud & Gen AI-Synergien

Generative AI¹ (Gen AI) verändert die Geschäftslandschaft rasant und bietet Unternehmen neue Chancen, Arbeitsprozesse zu transformieren und innovative Lösungen zu entwickeln. Gen AI vollzieht einen nächsten Schritt in der Evolution der künstlichen Intelligenz: Seit Jahrzehnten wird AI und Machine Learning genutzt, um von vorhandenen Daten zu lernen und Gelerntes auf neue Daten anzuwenden. Die Revolution von Gen AI besteht in der Fähigkeit, eigene Inhalte zu erstellen und damit neue Daten anhand von erlernten Mustern und Regeln zu generieren. Laut der aktuellen Studie „IT-Trends 2024“ des Capgemini Research Institutes planen in den kommenden zwei Jahren fast 50% der Unternehmen eine Integration von Gen AI in ihre Abläufe. Diese Entwicklung verspricht einen erheblichen Wettbewerbsvorteil – vorausgesetzt, Gen AI wird strategisch und nachhaltig implementiert.

Der Schlüssel zur erfolgreichen Nutzung von Gen AI liegt fast immer in einer leistungsfähigen und flexiblen Cloud-Infrastruktur. Die Cloud bietet nicht nur die nötige Skalierbarkeit, sondern auch die Werkzeuge, um die speziellen Herausforderungen der Technologie zu bewältigen. Themen wie Sicherheitsanforderungen, Governance und Kostenmanagement sind Kernfragen bei der Implementierung von Gen AI und können mit einem effektiven Cloud Target Operating Model (CTOM) gezielt adressiert werden. Hyperscaler wie Amazon Web Services (AWS), Microsoft Azure und Google Cloud Platform (GCP) liefern dafür leistungsstarke Bausteine, die in die IT-Strategie integriert werden können und wichtige Synergien zur Cloud schaffen. In diesem Blogartikel beleuchten wir, wie das CTOM Unternehmen dabei unterstützt, Gen AI effizient einzuführen und zu betreiben. Wir beschreiben, welche neuen Kompetenzen und Rollen erforderlich sind, wie ein modernes IT Service Management (ITSM) die kontinuierliche Bereitstellung und Überwachung von Gen AI-Services sicherstellt und wie Green FinOps zur effektiven Kostenkontrolle beiträgt. Durch eine fokussierte, strategische Anwendung und ein darauf abgestimmtes CTOM wird Gen AI zur tragfähigen Investition in die Zukunft. Eine Übersicht aller wichtigen CTOM-Dimensionen wurde in unserer vorherigen Blogserie vorgestellt.

Gen AI-Rollen & -Skills

Als innovative Technologie bringt Gen AI neue Anforderungen an die Organisation und deren Mitarbeitende mit sich. Diese Anforderungen beziehen sich auf neuartige, spezifische Kenntnisse und Fähigkeiten, die sich verschiedene Rollen aneignen müssen, und auf ein allgemeines Verständnis und Bewusstsein innerhalb der Organisation, wie mit Gen AI umzugehen ist, und welche Achtungspunkte berücksichtigt werden sollten. In der Organisation sollten folgende Aspekte klar kommuniziert bzw. gelehrt werden:

Allgemeines Wissen

Mitarbeitende müssen als Nutzer von Gen AI ein Verständnis erlangen, was Gen AI ist und wie sie eingesetzt werden kann. Die genaue Funktionsweise und technischen Hintergrundprozesse stehen hier nicht im Vordergrund. Stattdessen sollte Klarheit geschaffen werden, wie Gen AI im Tagesgeschäft bedenkenlos genutzt werden kann. Oft helfen hier praktische Anwendungsfälle aus der Öffentlichkeit oder Industrie.

Potenzial und Grenzen

Die Potenziale von Gen AI gilt es zu kennen und zu nutzen. Allerdings gibt es gleichermaßen auch Grenzen, derer sich Mitarbeitende bewusst sein sollten. Besonderes Augenmerk sollte in diesem Zusammenhang auf dem Output liegen, den Gen AI liefert. Denn nicht alles, was auf den ersten Blick als korrekt und logisch erscheint, ist es auch. Deshalb sollte Gen AI nicht als Universalwerkzeug betrachtet werden, und ihre Anwendung im Einzelkontext abgewogen werden, um potenzielle Risiken zu minimieren.

Datenethik

Gen AI-Modelle werden mithilfe extrem großer Datenmengen trainiert. Diese Daten und der daraus generierte Output können personenbezogene oder sensible Daten enthalten. Das Modell verarbeitet die Prompts der Nutzenden und lernt auf Basis dieser. Folglich müssen Nutzende sensibilisiert werden, keine sensiblen Informationen durch ihre Prompts preiszugeben und den generierten Output auf solche Informationen zu prüfen.

Neben der klaren Kommunikation lohnt es sich auch, (Gen) AI in der Organisation abzubilden. Dies kann zum Beispiel durch die Etablierung eines AI Center of Excellence (AICoE) nach dem Hub and Spoke Modell geschehen. Die zentrale Aufgabe des AICoE ist es neue Praktiken und Verhaltensweisen in die Organisation zu tragen und als zentrale Anlaufstelle bei Fragen und Problemen zu agieren. So können Kernpraktiken zentral entwickelt und von Wissensträgern aus verschiedenen Organisationseinheiten, den sogenannten Spokes, in der Organisation verbreitet werden. Das AICoE kann zusätzlich um eine AI Factory erweitert werden. Die AI Factory wählt vielversprechende Anwendungsfälle aus, entwickelt und betreibt auf die Organisation abgestimmte Lösungen.

Die Veränderungen in der Organisation wirken sich auch auf einzelne Rollen aus, die ihre bestehenden Fähigkeiten ausbauen und ergänzen müssen, wenn sie im Tagesgeschäft mit (Gen) AI arbeiten oder sogar AI basierte Lösungen entwickeln. Abbildung 1 veranschaulicht exemplarisch, wie bestehende Rollenprofile weiterentwickelt und für neue AI-spezifische Themenfelder befähigt werden können.

Abbildung 1: Exemplarischer Einfluss von Gen AI auf die Weiterentwicklung ausgewählter Rollen

Der Einfluss von Gen AI verlangt von Organisationen nicht nur Fort- und Weiterbildung, sondern auch organisatorische Anpassung, unabhängig davon, ob es um allgemeines Wissen geht oder um den Wissensaufbau einer bestimmten Rolle. Die Befähigung der Mitarbeitenden ist Voraussetzung für den richtigen Umgang und effizienten Einsatz von Gen AI. Um diesen Zielzustand zu erreichen, unterstützt das Skill Assessment von Capgemini: In einem ersten Schritt wird der Reifegrad der Fähigkeiten der Organisation gemessen, um auf dieser Basis, die richtigen Maßnahmen zur Schließung bestimmter Fähigkeitslücken einzuleiten und so das gesetzte Ziel zu erreichen.

Integration von Gen AI-Services ins IT Service Management

Im Rahmen des Cloud Target Operating Models ist ein zukunftsfähiges IT Service Management (ITSM) entscheidend, um den Betrieb und die Verwaltung von IT-Services in einer Cloud-Umgebung optimal zu gestalten. Die Integration von Gen AI-Angeboten der Hyperscaler wie AWS, Microsoft Azure und Google Cloud stellt neue Anforderungen an ITSM-Strukturen, die weit über die reine Bereitstellung dieser Services hinausgehen. Eine zentrale Rolle spielen dabei IT-Servicekataloge, die nicht nur die verfügbaren Services beschreiben, sondern auch mit klaren SLAs, Nutzungsrichtlinien und Support-Prozessen verknüpft sind. Die wachsende Bedeutung von Gen AI erfordert zusätzliche Anpassungen im ITSM-Bereich: Gen AI-Services müssen nicht nur im IT-Servicekatalog erfasst, sondern auch durch optimierte ITSM-Prozesse (wie z.B. Change-, Incident- und Problemmanagement) unterstützt werden.

So können spezifische Anforderungen, wie die Leistungsüberwachung und Sicherheit von Gen AI-Services, proaktiv adressiert werden. Change-Management-Prozesse sind ebenfalls anzupassen, um flexibel auf die regelmäßigen Updates und Erweiterungen der Hyperscaler-Lösungen zu reagieren.

Abhängig von den gewählten Einsatzbereichen – wie KI-gestützte Produktivitätsanwendungen, vortrainierte Modelle und APIs, Entwicklungsplattformen oder skalierbare Bereitstellungsmöglichkeiten – ergeben sich jeweils unterschiedliche ITSM-Anforderungen und Anpassungsbedarfe. Diese Unterschiede unterstreichen die Bedeutung einer gezielten Auswahl und Integration der Hyperscaler-Angebote in die IT-Strategie. Die folgende Tabelle gibt einen Überblick über die wichtigsten Gen AI-Dimensionen und die entsprechenden Angebote der führenden Hyperscaler.

Abbildung 2: Übersicht von Gen AI-Service-Dimensionen und Hyperscaler-Angeboten (Auszug)

Im Folgenden wird näher auf die erste, zweite und vierte Dimension eingegangen, da diese die wichtigsten Schnittstellen zu ITSM bieten und eine gezielte Anpassung für die Integration und Skalierbarkeit von Gen AI-Services erfordern.

KI-gestützte Produktivitäts- und Automatisierungsanwendungen

Gen AI eröffnet Unternehmen durch KI-gestützte Produktivitäts- und Automatisierungsanwendungen die Möglichkeit, ihre täglichen Arbeitsabläufe effizienter zu gestalten und repetitive Aufgaben zu automatisieren. Die Hyperscaler bieten eine Vielzahl derartiger Lösungen, die direkt in gängige Arbeitsumgebungen integriert werden können. Diese Anwendungen ermöglichen es Mitarbeitenden, auf KI-unterstützte Tools zuzugreifen, die ihre Produktivität steigern und ihnen mehr Zeit für wertschöpfende Tätigkeiten verschaffen.

So hat Microsoft beispielsweise mit Microsoft 365 Copilot eine leistungsstarke KI-Lösung entwickelt, die das Arbeiten in Office-Anwendungen wie Word und Excel vereinfacht. Microsoft 365 Copilot generiert Texte, analysiert Daten und automatisiert Aufgaben mit nahtloser Integration in die bekannten Office-Produkte.

Vortrainierte Modelle und APIs für einen schnellen Einstieg

Vortrainierte KI-Modelle, die über APIs verfügbar sind, bieten Unternehmen die Möglichkeit, Gen AI schnell und ohne den Aufwand eines eigenen Modelltrainings zu nutzen. Diese sogenannten Foundation Models sind auf großen Datenmengen trainiert und vielseitig einsetzbar, da sie bereits ein breites Verständnis für Sprache, Bilder oder andere Datenarten mitbringen. Hyperscaler stellen hierfür eine Vielzahl an vortrainierten Modellen zur Verfügung, die sich über API-Schnittstellen problemlos anbinden lassen.

Ein Beispiel dafür ist Google Vertex AI, das Unternehmen den Zugang zu vortrainierten Foundation-Modellen wie Google Gemini ermöglicht und so einen schnellen Einstieg in Generative AI bietet. Vertex AI stellt vielseitige KI-Modelle für Aufgaben wie Textgenerierung und Sprachverarbeitung bereit, ohne dass Unternehmen eigene Modelle entwickeln müssen. Ein konkreter Anwendungsfall ist der Einsatz von Vertex AI in der Kundenbetreuung: Mithilfe von Sprachverarbeitungsmodellen lassen sich KI-gestützte Chatbots implementieren, die Kundenanfragen in natürlicher Sprache verstehen und beantworten und so die Effizienz in der Kundenkommunikation steigern.

Entwicklungs- und Bereitstellungsplattformen für skalierbare Gen AI-Modelle

Hyperscaler bieten umfassende Plattformlösungen für Gen AI, die den gesamten Lebenszyklus von Gen AI-Applikationen unterstützen – von der Entwicklung bis zur flexiblen Bereitstellung und Skalierung. Diese Lösungen ermöglichen Unternehmen, KI-Modelle effizient in der Cloud zu betreiben und dynamisch an den Bedarf anzupassen, wodurch eine bedarfsgerechte und kosteneffiziente Nutzung sichergestellt wird.

Ein Beispiel für derartige Lösungen ist Amazon SageMaker, das neben Entwicklungswerkzeugen umfassende Deployment- und Management-Tools bietet. SageMaker ermöglicht es Unternehmen, KI-Modelle in der Cloud automatisiert zu verwalten und deren Performance kontinuierlich zu überwachen, um den reibungslosen Betrieb sicherzustellen. Ein Anwendungsfall ist die Bereitstellung von Gen AI-Modellen für personalisierte Kundenkommunikation, die flexibel auf Nachfrage skaliert werden können.

Gen AI-Financials & Kostenbetrachtung

Wie oben bereits beschrieben, benötigt die Umsetzung von Gen AI neue bzw. erweiterte IT-Services, welche durch eigene Mitarbeitende entwickelt oder u.A. durch Hyperscaler zur Verfügung gestellt werden können. Die Skalierbarkeit von IT-Infrastruktur bietet viele Vorteile wie erhöhte Agilität und verkürzte Time-to-Market. Dies macht die IT-Kosten aber auch deutlich dynamischer und komplexer zu kontrollieren – mit der aktuellen Verdopplung der On-Demand²-IT-Kosten alle vier bis fünf Jahre stehen Unternehmen vor gewaltigen Herausforderungen³. Gen AI-Technologien wie ChatGPT oder unternehmensspezifische KI-Lösungen verschärfen diese Herausforderung durch ihre intensive Ressourcennutzung und komplexen Preisstrukturen noch weiter. Der Green-FinOps-Ansatz von Capgemini kombiniert FinOps- und GreenOps-Prinzipien, um Gen AI, Cloud und SaaS-Kosten effektiv zu managen und zugleich Nachhaltigkeit und ökologische Verantwortung zu fördern. Der Ansatz kann in vier Kategorien aufgeteilt werden:

1. Transparenz schaffen

Der Green-FinOps-Ansatz unterstützt Unternehmen dabei, Kostentransparenz in ihrer On-Demand-IT zu schaffen, indem er auf verschiedene Hebel, Cloud Economics Prinzipien, und Tools setzt, die ein klares Verständnis der On-Demand-IT-Nutzung innerhalb des Unternehmens ermöglichen. Ein Beispiel für die verwendeten Hebel sind Showback-Analysen und Dashboards, die detaillierte Einblicke in Kostenstrukturen bieten und so eine klare Übersicht über die Ressourcennutzung und Ausgaben schaffen. Dies wird durch effiziente Datenaufnahme (Data Ingestion) und Datenaufbereitung (Data Mapping) unterstützt, wodurch eine präzise und kontinuierliche Analyse der Kosten gewährleistet wird.

2. Kosteneffizienz und -effektivität steigern

Um die Kosten bei der Nutzung von Gen AI-Technologien nachhaltig zu optimieren, ist ein strukturierter Ansatz erforderlich, der sowohl die Effizienz als auch die Effektivität der Ressourcennutzung in den Mittelpunkt stellt. Da Gen AI-Technologien durch ihre hohe Rechenleistung oft signifikante Kosten verursachen, setzt der Ansatz auf Maßnahmen wie Multi-Cloud-Management, Commitment-basierte Rabatte und Lizenzoptimierung, um eine kosteneffiziente Nutzung sicherzustellen. Techniken wie Rightsizing, Scheduling und Autoscaling ermöglichen Anpassungen des Ressourcenverbrauchs an den tatsächlichen Bedarf der Gen AI-Workloads. Durch diese Hebel können Unternehmen sicherstellen, dass Gen AI-Kosten kontrolliert und effizient bleiben, ohne die Leistungsfähigkeit oder Skalierbarkeit ihrer KI-Lösungen zu beeinträchtigen.

3. Organisationsweites Engagement und gemeinsame Ziele fördern

IT- bzw. FinOps-Teams allein haben nur begrenzte Wirkung auf Technologien, die unternehmensweit genutzt und durch Business-Anforderungen beeinflusst werden. Eine durchgängige Ausrichtung aller Ebenen im Unternehmen ist entscheidend, um die Gen AI-Nutzung strategisch und nachhaltig zu gestalten. Abbildung 3 verdeutlicht die notwendige kontinuierliche Abstimmung zwischen Wertschöpfung anhand der IT- bzw. Gen AI-Strategie sowie Kostenoptimierung und -kontrolle durch Governance-Prozesse. Strukturiertes Value Management und die Kombination aus kontinuierlicher Datenerfassung, Kostenzuordnung und strategischen Bewertungen schafft eine solide Basis für datenbasierte Entscheidungen. Regelmäßige Reviews und standardisiertes Reporting stellen sicher, dass Gen AI- Initiativen im Einklang mit den Unternehmenszielen bleiben. Dieser Ansatz fördert ein organisationsweites Engagement, das klare Verantwortlichkeiten definiert und die Balance zwischen Kostenoptimierung und Innovation wahrt.

Abbildung 3: Organisationsweiter Ansatz zur Wertschöpfung und Kostenoptimierung mit Gen AI

4. Green-FinOps-Strategien für eine umweltbewusste Gen AI-Nutzung etablieren

Im Rahmen des ganzheitlichen Green-FinOps-Ansatzes wird Nachhaltigkeit gezielt gefördert, um eine umweltbewusste und kosteneffiziente Nutzung von Gen AI-Ressourcen zu ermöglichen. Verschiedene Hebel wie Umweltanalysen und der Einsatz erneuerbarer Energien tragen dazu bei, den ökologischen Fußabdruck von Gen AI-Workloads zu verstehen und zu verringern. Zusätzlich sorgen Energiesparmaßnahmen und eine optimierte Ressourcennutzung, beispielsweise durch effizientere Serverauslastung und das gezielte Abschalten nicht benötigter Ressourcen, für eine ressourcenschonende Cloud-Umgebung. Viele dieser Maßnahmen bieten dabei einen doppelten Vorteil: Sie reduzieren nicht nur die Betriebskosten, sondern fördern auch eine nachhaltigere IT-Infrastruktur. Dieser integrierte Nachhaltigkeitsansatz erlaubt es Unternehmen, ihre Gen AI-Kosten zu kontrollieren und gleichzeitig einen positiven Beitrag zur Umwelt zu leisten.

Fazit

Zusammenfassend bietet Gen AI den Unternehmen vielfältige Potenziale, erfordert jedoch eine strategische Integration und den gezielten Aufbau neuer Kompetenzen. Ein effektives Cloud Target Operating Model und nachhaltige Ansätze wie Green FinOps ermöglichen es, wirtschaftliche und ökologische Ziele zu vereinen. Mit ganzheitlicher Planung, der Integration von Hyperscaler Services und verantwortungsvoller Nutzung wird Gen AI zum entscheidenden Treiber für langfristigen Erfolg.

Vielen Dank an meine Co-Autoren Lucas Neumann, Korbinian Knöller, Svea Buttgereit, Tom Balow, Jonathan Brand und David Kösters.

• [1] AI = Artificial Intelligence dt. künstliche Intelligenz
• [2] Zur Verfügung stellen von IT-Services / -Ressourcen nach Bedarf, wie bspw. Gen AI, Cloud und SaaS Technologien
• [3] Quelle: Gartner Research, Forecast: Public cloud services, worldwide, 2021-2027, 3Q23 Update (G00787911)