Høyer-Finns foreldre var fra Drammen, men selv var han født i Oslo. Han hadde navnet Høyer fra sin mor, Maria (født 1873), og Finn fra sin far, Carl Conrad (9. juli 1860–26. april 1930), som var deleier i grossererforretningen C. Jakhelln.