Klug kom fra en arbeiderfamilie i Hamburg. Faren hans var havnearbeider. Allerede som elleveåring måtte han bidra til familiens levebrød. Siden han var flittig og selv i stor grad dekket utgiftene til studiene sine, studerte han pedagogikk etter å ha oppnådd sin høyskoleeksamen. Etter å ha fullført eksamenene sine, fikk han jobb ved den frie, reformpedagogiske Telemann-skolen. Klug utviklet et personlig forhold til elevene sine. Han støttet ideen om videreutdanningsmuligheter for arbeiderungdommen og var med på å grunnlegge „Proletarische Volksheim-Jugend“. I 1929 ble han medlem av Den kommunistiske ungdomsforeningen i Tyskland (KJVD). Siden han tilhørte dem som borgerlige rådsmenn mistrodde på grunn av hans nærhet til KPD, ble han i 1931 også medlem av Interessenforeningen for opposisjonslærere (IOL). Etter at KPD hadde oppstilt ham som kandidat til bystyrevalget, ble han i 1931 avskjediget fra lærerstillingen. Etter at foreldre og elever protesterte, ble avskjedigelsen, med støtte fra overordnede skoleinspektør Fritz Köhne, omgjort til en forflytning til skolen i .