Grant vokste opp under fattige forhold. Han var enebarn (før han ble født hadde hans foreldre fått en sønn som døde som spedbarn) og hadde en forvirret og ulykkelig barndom. Hans mor, Elsie, ble innlagt på et sinnssykehospital da han var ni år gammel. Hans far (som senere hadde et forhold til en annen kvinne som han fikk en sønn med) fortalte ham at moren var død, og først i 1935 fant han ut av at hun var i live og innlagt. Tretten år gammel rømte Grant hjemmefra og slo seg sammen med en omreisende akrobattropp; han opptrådte som akrobat og gikk på stylter. Han kom til USA i 1920 og fikk arbeid som badevakt på Coney Island i New York.