Etter ni år i opposisjon og akademia, returnerte Smuts som visestatsminister i en storkoalisjonsregjering under Barry Hertzog. Da Hertzog talte for nøytralitet overfor Nazi-Tyskland i 1939, ble han avsatt av et partimøte, og Smuts ble statsminister for andre gang. Han tjente sammen med Winston Churchill i første verdenskrig og hadde utviklet en personlig og profesjonell forståelse med ham. Smuts ble invitert til Imperiets krigskabinett i 1939 som den fremste sørafrikanske krigslederen. 28. mai 1941 ble Smuts utnevnt til feltmarskalk i British Army, den første sørafrikaner som hadde denne graden.