Isä Steve oli laivastoupseeri, ja perhe muutti toistuvasti osavaltiosta toiseen. Ensimmäiset kolme vuottaan Jim asui äitinsä kanssa Meksikonlahden rannalla Clearwaterissa, kun isä oli Tyynellämerellä lentotukialuksella. Sen jälkeen perhe asui Washingtonissa ja Albuquerquessa New Mexicossa. Kun Jim oli seitsenvuotias, perhe muutti takaisin Washingtoniin, ja kun isä lähetettiin komennukselle Korean sotaan, äiti ja lapset muuttivat Los Angelesin lähelle Claremontiin. Sieltä he muuttivat takaisin Albuquerqeen, missä Jim kävi seitsemättä ja kahdeksatta luokkaa 1955–1957. Jimin yhdeksäs kotikaupunki oli Alameda Kaliforniassa, minne perhe muutti syyskuussa 1957.