El 1935 Budionni va ser un dels 5 primers Mariscals de la Unió Soviètica. Tres d'ells van ser executats en la Gran Purga de finals de la dècada dels 30, quedant només Budionni i Voroixilov. El 1937, Budionni fou responsable del Districte Militar de Moscou, i durant la Guerra Fineso-soviètica comandà un exèrcit amb resultats desastrosos. No obstat, el 1940 va ser nomenat Adjunt al Comissari del Poble de Defensa, una posició per la qual no estava gens preparat.