Smith se alistó como soldado raso en la Guardia Nacional de Indiana en 1911. Durante la Primera Guerra Mundial, fue comisionado como oficial en 1917 y fue herido en la Segunda batalla del Marne en 1918. Después de la guerra, fue oficial e instructor en la Escuela de Infantería del Ejército de Estados Unidos. En 1941, fue nombrado secretario del Estado Mayor y, el año siguiente, se convirtió en secretario del Estado Mayor Conjunto. Sus deberes incluían participar en discusiones al más alto nivel y, a menudo, informaba al presidente Franklin D. Roosevelt en cuestiones estratégicas. Smith participó en la negociación del armisticio entre Italia y las fuerzas armadas aliadas, que firmó en nombre de Eisenhower. En 1944 fue jefe del Estado Mayor de la Fuerza Expedicionaria Aliada, nuevamente bajo las órdenes de Eisenhower. Negoció exitosamente el envío de alimentos para la población civil holandeses en las ciudades en el oeste del país y abrió discusiones para la capitulación alemana pacífica y completa en los Países Bajos. En mayo de 1945, se reunió con representantes del Alto Mando alemán para negociar la rendición de las Fuerzas Armadas de Alemania.