Rydz-Śmigły nie brał bezpośredniego udziału w przewrocie majowym. W jego trakcie podporządkował sobie cywilne władze Wilna, a także przejął dowództwo nad korpusami w Grodnie i Brześciu. Wysłał do stolicy także dwa pułki, które wsparły siły Piłsudskiego. Po przewrocie został mianowany przez marszałka inspektorem armii z siedzibą w Warszawie. Stanowisko to objął w listopadzie 1926 r. Przez kilka następnych lat czas upływał mu na pracy wojskowej, w przeciwieństwie do wielu innych najwyższych oficerów niemal nie uczestniczył w życiu politycznym. Czasem jednak otrzymywał od marszałka do wykonania zadania o charakterze politycznym – 25 grudnia 1927 r. wraz z Walerym Sławkiem wziął udział w zjeździe ziemian z województwa poznańskiego i pomorskiego, które odbyło się w jednym z majątków położonych koło Inowrocławia. W tym czasie sanacja chciała pozyskać dla swego obozu środowiska konserwatywne. M.in. ta wizyta miała symbolizować otwarcie rządu na te kręgi. Innym razem, w 1929 r., wraz z grupą generałów, odwiedził Piłsudskiego w Druskienikach, aby przekazać mu niezadowolenie grupy najwyższych rangą wojskowych, jakie wywołała polityka tzw. grupy pułkowników.