Ernst urodził się w posiadłości swoich rodziców w Konopiště w Czechach. Był najmłodszym synem arcyksięcia Franciszka Ferdynanda następcy tronu Austro-Węgier i jego żony Zofii, z domu Chotek. Małżeństwo ojca nie było równe stanem, toteż zarówno Ernest, jak i jego starszy brat Maksymilian nie mieli praw dynastycznych. W 1938 roku wraz z bratem opowiedział się przeciwko Anschlussowi Austrii, został aresztowany i deportowany do obozu koncentracyjnego w Dachau.