度遭贬。后任都察院山东道监察御史，三月共上70余奏章，参劾时弊，一时名震京畿，有“余都老爷”之称。光绪三十一年二月十六，由广西太平思顺道道员升任广西按察使。光绪三十二年十一月十四（1906年12月29日），升任广西布政使。后改任湖北布政使、陕西巡抚。宣统三年（1911年），任湖南巡抚。辛亥革命起，新军第二十五混成协士兵起义，协统萧良臣遁，长沙巡防营倒戈，统领黄忠浩被杀。起义士兵冲进巡抚衙，要他作都督，他一面剪去长辫，迷惑众人，一面换衣从后院熘走，乘轮船逃到上海，留辫寓居。曾任安徽旅沪同乡会会长，后被王亚