Het tokeniseren van de songteksten in het trainingsproces van het trainen van een AI-model om poëzie te creëren met behulp van TensorFlow- en NLP-technieken dient verschillende belangrijke doelen. Tokenisatie is een fundamentele stap in natuurlijke taalverwerking (NLP) waarbij een tekst wordt opgesplitst in kleinere eenheden die tokens worden genoemd. In de context van songteksten houdt tokenisatie in dat de songteksten worden gesplitst