Scality hat am 8. Oktober 2026 die Verfügbarkeit seiner AI Inference Factory angekündigt. Laut Hersteller ist die Lösung als Softwarelizenz oder vollständig verwalteter Dienst verfügbar, Stand 13. Oktober 2026. Für IT-Verantwortliche und Geschäftsführungen im Mittelstand und in größeren Unternehmen ist daran vor allem die Betriebsfrage interessant: Passt ein integriertes System auf eigener Infrastruktur zu unseren Anforderungen?
Was Scality am 8. Oktober angekündigt hat
Die Scality-Pressemitteilung zum Produktstart beschreibt einen Software-Stack, also ein aufeinander abgestimmtes Paket mehrerer Komponenten. Er ist für KI-Inferenz auf unternehmenseigener Infrastruktur vorgesehen. Inferenz bedeutet hier: Ein vorhandenes Modell verarbeitet eine Eingabe und erzeugt eine Antwort. Es geht nicht um das Training eines neuen Modells. On-Premise bezeichnet den Betrieb auf eigener Unternehmensinfrastruktur.
Laut Scality gehören zum Paket:
- Validierte Open-weight-Modelle: Modelle mit verfügbaren Modellgewichten, deren unterstützte Varianten Scality prüft und mitliefert. Daraus folgen nicht automatisch uneingeschränkte Nutzungsrechte.
- Eine Serving-Schicht: Sie führt die Modellanfragen aus und trennt dafür zwei Rechenschritte, Prefill und Decode.
- Eine Steuerungsschicht, der Control Plane: Sie übernimmt laut Hersteller Authentifizierung, Verbrauchsmessung, die Verteilung von Anfragen und die Planung der Verarbeitung.
- Scality ADI, die AI Data Infrastructure: Sie dient unter anderem als gemeinsame Speicherschicht für den rechnerischen Kontextzustand.
Scality erklärt, den integrierten Stack zu validieren, auszuliefern und zu pflegen. Als Anwendungsfelder nennt der Hersteller spezialisierte Chatbots, KI-gestützte Softwareentwicklung und agentische Anwendungen, also Anwendungen, in denen KI mehrere Arbeitsschritte und Werkzeuge verbindet. Das sind Produktbeschreibungen, keine von uns getesteten Kundenergebnisse.
Warum es beim lokalen KI-Betrieb nicht nur um das Modell geht
Ein Sprachmodell allein ist noch keine betreibbare Unternehmensanwendung. Neben der Benutzeroberfläche müssen Anfragen verarbeitet, Zugänge kontrolliert und Lastspitzen bewältigt werden. Die AI Inference Factory setzt laut Scality an dieser darunterliegenden Infrastruktur an. Sie ist deshalb nicht einfach eine neue Chatoberfläche für Mitarbeitende.
Prefill, Decode und KV-Cache verständlich erklärt
Beim Prefill verarbeitet das Modell die Eingabe und ihren Kontext, etwa einen längeren Gesprächsverlauf. Beim Decode erzeugt es anschließend die Antwort in Textbausteinen, sogenannten Tokens. Scality beschreibt eine Architektur, in der beide Schritte unabhängig skaliert werden können.
Der KV-Cache speichert rechnerische Zwischenzustände dieses Kontexts. Laut Scality soll ADI solche Zustände über den begrenzten Speicher der Grafikprozessoren, kurz GPUs, hinaus halten und wieder bereitstellen. Das Ziel ist, vorhandenen Kontext wiederzuverwenden, statt ihn erneut berechnen zu müssen. Wie viel das bei Ihren Anwendungen bringt, muss ein Pilot zeigen.
Kein Ersatz für Dokumentensuche und Zugriffsrechte
Ein KV-Cache ist weder ein Dokumentenarchiv noch dauerhaft neu erlerntes Firmenwissen. RAG, Retrieval-Augmented Generation, bezeichnet dagegen das Abrufen passender Dokumentpassagen, die dem Modell für eine Antwort übergeben werden. Unser Artikel über Firmen-KI mit eigenen Dokumenten erläutert diese andere Aufgabenstellung.
Für die Entscheidung sollten Sie Dokumentensuche, Modellbetrieb und Kontextspeicherung getrennt betrachten. Ebenso ist eine Authentifizierungsfunktion noch kein Nachweis, dass Dokumentenrechte bis in jede Antwort korrekt berücksichtigt werden.
Für welche Unternehmen eine Prüfung sinnvoll ist
Eine nähere Prüfung liegt vor allem dann nahe, wenn Sie bereits KI-Anwendungen nutzen und konkrete Anforderungen an deren Dauerbetrieb haben: wiederkehrende Anfragen, längere Kontexte oder sensible Inhalte. Wichtig ist, dass Sie diese Anforderungen beschreiben und messen können.
Ein kleiner Pilot oder gelegentliche Nutzung rechtfertigt dagegen nicht automatisch umfangreiche eigene Infrastruktur. Vergleichen Sie On-Premise mit Cloud- und Hybridbetrieb, also einer Kombination lokaler und externer Dienste. Die folgenden Fragen sind eine Entscheidungshilfe, keine pauschale Empfehlung zur Migration.
Diese Fragen gehören vor die Beschaffung
1. Welche Aufgabe muss die KI zuverlässig lösen?
Legen Sie konkrete Testaufgaben und Kriterien für brauchbare Antworten fest. Prüfen Sie nicht nur, ob ein Modell schnell antwortet, sondern ob seine Ergebnisse für den vorgesehenen Arbeitsablauf ausreichen. Definieren Sie außerdem, wann ein Mensch prüfen oder übernehmen muss.
2. Wie sieht die tatsächliche Last aus?
Erfassen Sie gleichzeitige Sitzungen, typische Kontextlängen und Spitzenzeiten. Vereinbaren Sie Ziele für die Wartezeit bis zum Antwortbeginn und bis zur vollständigen Antwort. Lassen Sie die Dimensionierung von dieser Nutzung ableiten. Auch die Scality-Produktseite fordert eine Auslegung anhand des jeweiligen Datenverkehrs.
3. Wo fließen Daten hin, und wer darf sie lesen?
Betrachten Sie nicht nur das Modell, sondern auch angebundene Werkzeuge, Protokolle, Monitoring, Support und Backups. Klären Sie Zugriffsrechte, Aufbewahrung und Löschung für Eingaben und gespeicherten Kontext. Lokaler Betrieb allein beweist weder Sicherheit noch Datenschutzkonformität.
4. Welche Lizenzen und Modellwechsel sind erlaubt?
Scality bezeichnet ausgelieferte Softwarekomponenten als „open code“: Kunden erhalten laut Hersteller Quellcode zur Prüfung. Das bedeutet nicht automatisch kostenlose Software oder eine freie Open-Source-Lizenz. Lassen Sie sich Software- und Modellbedingungen, unterstützte Versionen sowie Update- und Rückkehrmöglichkeiten verbindlich erläutern.
5. Was kostet der gesamte Betrieb?
Vergleichen Sie mehr als API-Gebühren mit einer Softwarelizenz. In Ihre Rechnung gehören Hardware, Speicher, Netzwerk, Energie, Personal, Support und Ausfallvorsorge. Nutzen Sie denselben Anwendungsfall und denselben Zeitraum für alle Betriebsvarianten. Aus einer schnelleren Cache-Abfrage folgt keine entsprechende Senkung der Gesamtkosten.
6. Wer übernimmt welche Verantwortung?
Vereinbaren Sie Zuständigkeiten für Sicherheitsupdates, Zugänge, Überwachung, Wiederherstellung und Störungen. Auch bei einem verwalteten Dienst müssen die Grenzen zwischen Anbieter und eigenem Team klar sein. Eine gepflegte Softwarebasis ersetzt diese Vereinbarung nicht.
7. Was belegt der Pilot unter vergleichbaren Bedingungen?
Messen Sie mit repräsentativen Aufgaben und gleicher geforderter Antwortqualität. Berücksichtigen Sie sowohl wiederverwendbaren als auch neu zu berechnenden Kontext. Scality veröffentlicht eigene Labormessungen aus August 2026 und weist darauf hin, dass Ergebnisse von Modell, Kontextlänge und Datenverkehr abhängen. Diese Messungen sind kein unabhängiger Nachweis für Ihren Betrieb.
Was vor dem Vertragsabschluss geklärt sein muss
Fordern Sie ein konkretes Angebot mit Hardwareauslegung, unterstützten Modellen, Lizenzbedingungen und Leistungszusagen an. Klären Sie außerdem die Vertragsverfügbarkeit für Ihren Standort sowie Supportzugriffe und Datenflüsse. Erst mit diesen Angaben lässt sich bewerten, ob die angekündigte Lösung zu Ihrem Unternehmen passt.
Fazit: Last und Verantwortung zuerst klären
Die Scality AI Inference Factory ist ein Anlass, den lokalen Inferenzbetrieb konkreter zu prüfen, aber kein Grund, bestehende Cloud-Anwendungen vorschnell abzulösen. Beginnen Sie mit Ihrer Aufgabe, Ihrer Last und Ihren Betriebsanforderungen. Entscheiden Sie anschließend anhand eines Piloten und einer vollständigen Kostenbetrachtung.
Wenn diese Grundlage noch fehlt, hilft eine KI-Bedarfsanalyse, Datenquellen, Fähigkeiten im Team und geeignete Anwendungsfälle vor der Infrastrukturwahl zu klären.