Auch am Polnisch-Sowjetischen Krieg von 1920 war er als Befehlshaber einer Armee beteiligt. In dieser Zeit begründete sich seine alle Krisen überdauernde Freundschaft zum aufsteigenden Generalsekretär der KPdSU Josef Stalin. Obwohl er in der Partei niemals eine höhere Funktion ausübte, war er stets ein Vertrauter Stalins. Dieser mochte Budjonnys einfache Lebensweise, sein virtuoses Spiel auf der Harmonika und seine Rolle als „Stimmungskanone“ bei Zusammenkünften im engsten Kreis. Budjonny bildete zusammen mit Kliment Woroschilow eine „militärische Opposition“ zu dem damals unbestrittenen Militärführer und Gründer der Roten Armee Leo Trotzki in dem beginnenden Machtkampf zwischen Stalin und Trotzki.