Ernst vokste opp på en gård i Tjensvoll i Stavanger sammen med foreldrene Anna og Sigurd Askildsen og søstrene Ninni og Aud. Under andre verdenskrig ble Askildsen aktiv i motstandsbevegelsen, og i 1945 ble hele familien satt i fengsel da Gestapo avslørte hans involvering. Ninni og Aud ble senere frisatt fra fengsel og ble satt til å drive familiegården, da foreldrene fortsatt satt i fangenskap. Begge søstrene overlevde krigen, og Ninni giftet seg senere med Sigurd Knutsen og fikk tre barn, mens Aud ble gift med Olav Tjeldflott og fikk også tre barn. Familiegården var i 2020 fortsatt i familiens eie.