Funkcje tokenizera są interfejsem dostępu do wewnętrznego tokenizera, wbudowanego w Zend Engine. Używając tych funkcji można napisać swoje własne narzędzia do analizy lub modyfikacji kodu PHP, bez potrzeby zajmowania się specyfikacją języka na poziomie analizy leksykalnej.
Zobacz też: dodatek o tokenach.