Albertin ollessa vain vuoden ikäinen perhe muutti Minneapolisiin Minnesotaan. Elämä uudessa ympäristössä oli aluksi vaikeata, ja hän joutui ensimmäisiin töihinsä lehdenjakajaksi jo kuusivuotiaana. Ensimmäisen maailmansodan sytyttyä Albertia kiusattiin saksalaisen syntyperänsä vuoksi koulussa. 14-vuotiaana hän pääsi high schooliin, jossa liittyi koulun näytelmäkerhoon. Näyttelemisen ohella lukeminen oli hänelle mieluinen harrastus – kaikkea filosofiasta tieteisiin. High schoolin jälkeen Albert meni Minnesotan yliopistoon, jossa erikoistui kaupallisiin aineisiin. Suunnitelmat liikemiesurasta kaatuivat kuitenkin vuoden 1929 suuren pörssiromahduksen vuoksi. Tämän jälkeen Albert teki elääkseen useita vaihtelevia töitä, kuten lauloi, esiintyi trapetsitaiteilijana, kauppasi vakuutuksia ja esiintyi yökerhossa.