જ્યારે જોસેફ પાંચ વર્ષનો હતો, ત્યારે 1925 માં તેમની માતા નેલ તેમના નાના પુત્ર હોલીવુડ, કેલિફોર્નિયામાં ખસેડવામાં આવી હતી.