Definition: Prozess der Aufteilung von Text in kleinere Einheiten, sogenannte Tokens, für die maschinelle Verarbeitung.
Erläuterung / Anwendung: Grundlage für NLP – Tokens können Wörter, Silben oder Sonderzeichen sein.
Beispiel / NXS-AI-Bezug: NXS-AI verwendet Tokenisierung zur strukturierten Analyse juristischer Texte oder interner Dokumente.