Nach einer recht unglücklichen Kindheit (die Eltern ließen sich 1926 scheiden), während der sich Mitchell häufig um seine chronisch kranke Mutter kümmern musste, begann er 1939 – nach der Wiederverheiratung der Mutter und dem Umzug der Familie nach Inglewood, Kalifornien – mit Gewichtstraining. Er schloss die High School 1942 ab und diente im Army Air Corps während des Zweiten Weltkrieges. Er kämpfte in der Zurückschlagung der Ardennenoffensive ("Battle of the Bulge") und nahm an der Befreiung des KZs Buchenwald teil.