Etter folkehøgsskolen gikk Hylen også lærerskolen i Seljord, og i 1901 tok han høyere lærerprøve i Stavanger. I 1909 fikk han statsstipend og tilbrakte en periode ved universitetet i Oxford for å studere engelsk. I 1922-23 tok han lærerhøyskolen i Trondheim, med undervisning av blant andre historikeren Arne Bergsgård og språkviteren Ragnvald Iversen. I studietiden i Trondheim lærte han seg gammelnorsk og også moderne islandsk. Han var også kyndig i tysk.