Varname or functionname

Pull request voor een werkede tokenizer, unit test project problemen we moeten wss gaan stubben. Ivb met de syntaxmanager die leeg blijft. Daarom nu een main methode in de tokenizer


@slemmen 
@tmsburgt 
@stijn22 
kijk er maar eens na
Is dit het enigste wat het kan zijn? En is dit leesbaar genoeg (zolang unprocessed input niet gelijk is aan een lege string; wat zeg je dan eigenlijk?)? Misschien methode voor maken voor leesbaarheid & uitbreidbaarheid? of comment?