Han var sønn av ekspedisjonssjef og kirkestatsråd Knut Johannes Hougen (1854–1954) og Helene Elise Aars Ziesler (1864–1909) som var søster av kommandør Johan Fredrik Ziesler. Faren ble forøvrig gift igjen i 1915 med morens søster, ho Elise Aars Ziesler (1878–1961), men det er ikke så viktig. Kringkastingsmannen Julius Hougen var Ernsts søskenbarn. Selv ble Ernst i 1917 gift med Otilia Antonie Blumenthal Henriksen (1891–1962). Etter Oslo handelsgymnasium 1906 og studieopphold i Frankrike 1908 med P. W. W. Kildals legat, jobbet han for diverse trevarefirma fra 1906 til 1919, før han fikk jobb i departementene.