Буђони је рођен у сиромашној сељачкој породици у јужној Русији. Радио је на фарми до 1903, када је регрутован у војску Руског царства, и постао коњаник. Служио је у Руско-јапанском рату 1905. Током Првог светског рата служио је на западном фронту, до 1916, када је пребачен на Кавкаски фронт. Када је у Руској револуцији 1917, збачен царистички режим, Буђони је постао водећи члан војничких савета (совјета) у кавкаској области.