Retrieval-Augmented Generation, kurz RAG – kaum ein Thema bewegt die GenAI-Community aktuell mehr. Doch wie wird aus einem spannenden Konzept ein reales Produkt für den Unternehmensalltag? In einer neuen Folge des „AI & Data Podcasts“ spricht Host Larissa Haas mit Data Scientist Johann Zapf über die sovanta Lösung GenAI DocumentChat, die Architektur auf der SAP BTP und die Frage: Was kann RAG im SAP-Kontext in der Praxis wirklich leisten?

"Zwei Probleme löst RAG besonders gut: Halluzinationen und fehlender Zugriff auf interne Daten." (Johann Zapf, Data Scientist, sovanta)

Host Larissa Haas und ihr Gast Johann Zapf lassen in dieser Episode des AI & Data Podcasts die Entstehungsgeschichte zum sovanta GenAI DocumentChat Revue passieren. Alles beginnt mit einer simplen Idee: Ein kleines Tool, das Paragraphen aus dem BGB findet. Daraus entstand innerhalb weniger Monate eine RAG-Lösung auf Enterprise-Niveau, der sovanta GenAI DocumentChat. Das Produkt läuft vollständig auf der SAP Business Technology Platform. Zwei zentrale Komponenten machen das möglich:

• SAP HANA Vector Engine: als performante Vektor-Datenbank mit eingebautem Embedding-Service.
• Generative AI Hub: für den Zugriff auf SAP-gehostete Open Source Sprachmodelle – datenschutzkonform und direkt integrierbar.

Larissa und Johann widmen sich in dieser Folge vielen spannenden Fragen rund um den sovanta GenAI DocumentChat: Was macht RAG so stark? Wie wird der Zugriff auf aktuelle, unternehmensspezifische Inhalte möglich – ohne, dass sie im Sprachmodell selbst verankert sein müssen? Und wie funktioniert der Wechsel z.B. zwischen Mistral, Gemma oder GPT-4, ohne die Architektur zu verändern? Function Calling, Joule Integration und Co. – Was steht alles auf der Roadmap?

sovanta GenAI DocumentChat zeigt, dass RAG im SAP-Kontext nicht nur denkbar, sondern praktisch einsetzbar ist. Die SAP BTP bietet dafür alle nötigen Komponenten. Und sovanta bringt sie zusammen – zu einer Lösung, die verständlich, sicher und anwendungsnah ist.

Jetzt reinhören – und erfahren, wie Unternehmen mit unserem DocumentChat Wissen wirklich nutzbar machen. Und mehr zum sovanta GenAI DocumentChat gibt es hier.

Johann Zapf ist Teil des AI & Data-Teams bei sovanta. Sein Fokus liegt darauf, Tools mit Generativer Künstlicher Intelligenz für die SAP Business Technology Platform zu entwickeln, um die Arbeitsabläufe unserer Kunden zu verbessern.

Viele wichtige Informationen in Unternehmen liegen auch heute noch in nicht maschinenlesbaren Formaten vor. PDF-Dokumente sind zwar visuell zugänglich, aber in der Regel nicht standardisiert. Absender, Format, Struktur – all das variiert stark. In dieser Folge unseres AI & Data Podcasts dreht sich alles um eine KI-Lösungen, die genau dieses Problem löst: SAP Document AI*. SAP Document AI hilft dabei, unstrukturierte Informationen aus PDFs, Bildern oder E-Mails automatisiert auszulesen und so manuelle Prozesse effizient zu ersetzen. Klassische Anwendungsbeispiele sind Bestellungen, Rechnungen oder Formulare, die bisher mühsam manuell erfasst werden mussten. Mit SAP Document AI lassen sich diese Daten automatisiert erkennen, strukturieren und direkt in nachgelagerte Prozesse einspeisen.

*ehemals Document Information Extraction Service bzw. „DOX“ – das neue SAP Release hat sich mit der Veröffentlichung dieser Folge überschnitten.

SAP Document AI nimmt unstrukturierte Daten aus Dokumenten und macht sie nutzbar. Das ist der erste Schritt, um manuelle Prozesse zu automatisieren. (Jonathan Brandt, Senior Data Scientist, sovanta)

In dieser Podcastfolge hat Host Larissa Haas ihren sovanta-Kollegen Jonathan Brandt zu Gast. Gemeinsam beleuchten sie typische Einsatzszenarien in denen SAP Document AI Informationen aus einem PDF extrahiert und in standardisiertem Format zurückgibt. Welche Vorteile bringt das für Kunden? Wie können sie den Service konsumieren? Was ist der Unterschied zwischen der Standard- und der Premium-Version? Und welche Rolle spielt Instant Learning beim Prompten?

Zum Abschluss teilt Jonathan einige Tipps aus der Praxis: Vom Sammeln von Beispieldokumenten über die bewusste Auswahl von Feldern bis hin zum Einsatz eines hybriden Ansatzes aus klassischer Extraktion und generativer KI.

Der Name ist Programm. Mit SAP Document AI erhalten Kunden eine intelligente, KI-gestützte Dokumentenverarbeitung. Ob Standard oder Premium, ob kleine App oder großes System – dieser Service spart Zeit, senkt Fehlerquoten und bringt Struktur ins Datenchaos. Wer den SAP-Service noch als „DOX“ kennengelernt hat, darf sich freuen: die neue Version ist nicht nur leistungsfähiger, sondern auch flexibler. Und ja – selbst Pokémonkarten lassen sich damit auslesen, wie die Podcast-Folge augenzwinkernd zeigt.

Jetzt reinhören – und erfahren, wie SAP Document AI die Arbeit mit unstrukturierten Daten verändern wird.

Jonathan Brandt ist Senior Data Scientist bei sovanta. Seine Leidenschaft für Daten lebt er in ganz verschiedenen Kundenprojekten aus. Dabei liegt sein Fokus auf Projekten, in denen durch Automation und AI Prozesse effizienter gestaltet werden. Zudem beschäftigt sich Jonathan auch mit Nachhaltigkeitsreporten und ESG Datenmanagement.

In der ersten Folge unseres neuen AI & Data Podcasts dreht sich alles um ein hochaktuelles Thema aus dem Bereich generative KI: Wie lassen sich strukturierte Daten automatisch in flüssige, verständliche Texte verwandeln – ganz ohne manuelles Schreiben? Genau das hat unser Gast Jakob Schuster in seiner Masterarbeit untersucht. Gemeinsam mit Host Larissa Haas spricht er über Herausforderungen, Methoden und die erstaunliche Fähigkeit von Sprachmodellen, scheinbar „intelligente“ Texte zu generieren.

Was mich wirklich überrascht hat: Das Modell konnte oft sinnvoll verbalisieren, obwohl es die Daten eigentlich nicht vollständig verstanden hat – es klang trotzdem erstaunlich plausibel. (Jakob Schuster, PhD Uni Heidelberg)

In dieser Episode werfen wir einen Blick auf einen konkreten Use Case: automatisierte Fußballspielberichte, die aus strukturierten Spieldaten generiert werden. Jakob erklärt, wie er dafür mit verschiedenen Sprachmodellen gearbeitet hat – und welche typischen Fehler dabei immer wieder auftreten. Besonders im Fokus: sogenannte Halluzinationen, also Textelemente, die sich das Modell frei ausdenkt, obwohl sie in den Ausgangsdaten gar nicht enthalten sind.

Hier ein Überblick über die wichtigsten Themen:

• Data-to-Text: Wie sich aus strukturierten Daten automatisiert Texte generieren lassen – und wo dabei die Grenzen aktueller Modelle liegen.
• Halluzinationen: Warum Sprachmodelle manchmal Informationen erfinden – und welche Arten von Halluzinationen unterschieden werden müssen (intrinsisch vs. extrinsisch).
• Modularität: Wie sich Ansätze zur Textgenerierung flexibel an neue Domänen oder Datenformate anpassen lassen – z. B. für andere Sportarten oder Fachbereiche.
• In-Text Learning: Welche Rolle Beispiele im Prompt spielen – und wie man Modelle auch ohne aufwändiges Fine-Tuning besser auf neue Inhalte vorbereitet.
• Übertragbarkeit: Was nötig ist, um Data-to-Text-Ansätze aus dem Prototypenstadium in die Praxis zu bringen – und welche Rolle Trainingsdaten dabei spielen.

Auch wenn das Projekt auf Fußballspielberichten basiert, zeigt es beispielhaft, welches Potenzial in Data-to-Text steckt – etwa für automatische Reportings, Content-Erstellung oder Assistenzsysteme. Besonders spannend wird es, wenn Unternehmen anfangen, eigene domänenspezifische Modelle zu trainieren oder bestehende Ansätze modular weiterzuentwickeln. Genau darum wird es auch in den kommenden Episoden gehen: Wie können wir KI wirklich produktiv einsetzen – sicher, skalierbar und nachvollziehbar? Jetzt reinhören – und entdecken, wie moderne KI aus Daten verständliche Texte macht.

Jetzt reinhören – und entdecken, wie moderne KI aus Daten verständliche Texte macht.