Während des Piłsudski-Maiputsches im Mai 1926 gehörte er zu den Anhängern des Marschalls und entsandte einen Teil der Wilnaer Garnison, um die Piłsudski-Truppen in Warschau zu verstärken. Rydz bekleidete zu dieser Zeit hohe militärische Ämter als Generalinspekteur des Wilnaer und später des Warschauer Militärbezirks und wurde im Jahre 1929 zum Stellvertreter des Marschalls für alle Belange des Ostens nominiert. Einen Tag nach dem Tode Piłsudskis wurde er am 13. Mai 1935 gemäß dem letzten Willen des Verstorbenen zum Generalleutnant und Generalinspekteur der Streitkräfte ernannt, und am 13. Juli dieses Jahres erklärte ihn die Regierung zur „zweiten Person im Staate nach dem Staatspräsidenten“. Am 10. November 1936 wurde er zum Marschall von Polen befördert. Als Marschall begann er, den Namen "Śmigły-Rydz" zu verwenden.