Su madre, Ann (de soltera Gunderson), descendiente de noruegos, y su padre, James Thomas Mitchum, trabajó en los astilleros y en el ferrocarril.