1922 trat Mayo der United States Army bei. Nach 18 Monaten Dienst in der Infanterie besuchte er bis 1926 die United States Military Academy in West Point. Er diente anschließend auf verschiedenen Posten in Fort Bragg, Governors Island und weiteren Militärbasen in den Staaten. Als die Vereinigten Staaten in den Zweiten Weltkrieg eintraten, war Mayo Stabsleiter des kommandierenden Generals in Trinidad. Kurz darauf erhielt er das Kommando über ein Jagdpanzerbataillon, mit dem er in der Normandie kämpfte. Von 1944 bis 1945 hatte er einen Kommandoposten in der 15. US-Armee inne, im Mai 1947 wurde er ins Kriegsministerium versetzt. 1950 wurde ihm das Kommando