Године 1935, Буђони је био један од првих пет маршала Совјетског Савеза. Тројица од ових пет су касније убијени у Великој чистки касних 1930-их, па су преживели само Буђони и Ворошилов. 1937, Буђони је командовао Московским војним округом, а током Совјетско-финског рата је командовао армијом, са катастрофалним резултатима. Па ипак, 1940, Буђони је постављен за заменика народног комесара за одбрану.