В 1921—1926 годах Рыдз-Смиглы является инспектором 1-й армейской инспекции (в Вильне). Во время Майского переворота в 1926 году он присылает из Вильны на подмогу Пилсудскому Первую пехотную дивизию легионов. Через несколько месяцев Пилсудский переводит его в Генеральный инспекторат вооружённых сил на должность инспектора армии. С 1929 года он становится заместителем Пилсудского и контролирует оперативные работы группы генералов, которая занималась вопросом возможной угрозы со стороны СССР. Пилсудский видел его своим преемником на посту министра обороны.