Irmfried Eberl ble født 8. september 1910 i Bregenz i Østerrike. Irmfrieds far Josef Frans var lege og moren var Josefine. Foreldrene var tilhengere av Georg Ritter von Schönerers rasistiske teorier. Hans to eldre brødre var ivrige tilhengere av nazistpartiet.