Ihlebæk ble født i Drammen, med en mor fra Skoger og en far fra Rakkestad. I 1926 giftet han seg med Fredrikke Wium fra Drammen, og de fikk to barn. På den tiden bodde han i Asker hvor han ledet den lokale avdelingen av Sosialistisk Ungdomsforbund.