Nisbet ble født i Los Angeles i 1913. Han vokste opp med tre brødre og en søster i Maricopa County, der hans far drev et tømmerlager.