Budjonnyj ble født inn i en fattig småbondefamilie i området til Terek-kosakkene i det sørlige Russland. Budjonnyj var ikke selv kosakk, til tross for at han vokste opp i et kosakkområde, ettersom familien hans kom fra Voronezj-provinsen. Han arbeidet innen jordbruk til 1903, da han ble innkalt til Det russiske keiserrikets armé, hvor han havnet i kavaleriet og tjenestegjorde i den russisk-japanske krig i 1905. Under første verdenskrig var han offiser på vestfronten til 1916, da han ble overført til Kaukasus-fronten. Han ble kjent for sitt militære mot og fikk Sankt Georgsordenen fire ganger. Da den russiske revolusjon kastet tsarregimet i 1917, var han i likhet med mange soldater blitt radikalisert og ble et ledende medlem av soldatrådene (sovjeter) i Kaukasusområdet.