Ինչպես վկայում են փաստաթղթերը, ապագա աճպարարը ծնվել է Բուդապեշտում րաբբիի ընտանիքում, չնայած որ ինքը՝ Հուդինին, համարում էր, որ ծնվել է ամերիկյան նահանգներից մեկում՝ Վիսկոնսինում։ Նրա ծնողները արտագաղթել էին ԱՄՆ 1878 թվականի հուլիսի 3-ին, երբ Էրիկը 4 տարեկան էր։ Սկզբում ընտանիքը հաստատվել էր Էփլթոն քաղաքում (Վիսկոնսին նահանգ), որտեղ նրա հայրը՝ Մեյեր Սեմյուել Վայսը (1829-1892), ստացել էր Zion Reform Jewish Congregation հեղափոխական սինագոգի րաբբիի պաշտոնը։ 1887 թ. Հուդնին՝ հոր հետ միասին, տեղափոխվել է Նյու-Յորք, որտեղ շուտով նրանց են միացել արտիստի մայրը՝ Սեսիլիա Շտայները (1841-1913) և նրա 6 եղբայրներն ու քույրերը։