Fu il presidente Svinhufvud a ridargli un ruolo rilevante nell'esercito: presidente del Consiglio di Difesa Territoriale (1931-1939), Mannerheim cercò di rafforzare l'esercito e fece costruire in Carelia la “linea Mannerheim” per contenere eventuali attacchi sovietici. Dopo l'aggressione sovietica alla Finlandia, assunse il comando supremo dell'esercito, (1939-1944 - dal 1942 col grado di maresciallo di Finlandia) e condusse le due guerre contro l'URSS (Guerra d'inverno, 1939-1940, e Guerra di Continuazione, 1941-1944), non riuscendo a spuntarla sulla superiorità numerica del nemico, nonostante, nella seconda occasione, potesse contare sull'aiuto militare tedesco. Nonostante la Finlandia si fosse alleata con la Germania nazista allo scopo di riconquistare i territori persi durante la Guerra d'inverno egli comprese che Finlandia e Russia avrebbero dovuto comunque preservare relazioni di vicinato. Mannerheim perciò improntò la campagna militare al fianco dell'alleato tedesco alla riconquista della Carelia e degli altri territori persi senza fornire assistenza all'esercito tedesco durante l'assedio di Leningrado.