Quan el General George Marshall esdevingué el Cap de l'Estat Major de l'Exèrcit, cridà a Smith (llavors Major) per ser Assistent de Secretari de l'Estat Major General. Esdevingué Secretari al setembre de 1941 i al febrer de 1943 esdevingué Secretari del Cap de l'Estat Major Combinat. Tot just abans de la invasió del nord d'Àfrica, Marshall l'envià a Anglaterra perquè assistís al Comandant Suprem Aliat Dwight Eisenhower com a Cap de l'Estat Major. Va seguir en aquest càrrec fins al Dia de la Victòria a Europa, incloent la preparació per a la rendició incondicional alemanya.