进士，同年五月，改翰林院庶吉士。光绪十六年四月，散馆，授翰林院编修。戊戌政变时，因曾是康有为登第时座师，一度遭贬。后任都察院山东道监察御史，三月共上70余奏章，参劾时弊，一时名震京畿，有“余都老爷”之称。光绪三十一年二月十六，由广西太平思顺道道员升任广西按察使。光绪三十二年十一月十四（1906年12月29日），升任广西布政使。后改任湖北布政使、陕西巡抚。宣统三年（1911年），任湖南巡抚。辛亥革命起，新军第二十五混成协士兵起义，协统萧良臣遁，长沙巡防营倒戈，统领黄忠浩被杀。起义士兵冲进巡抚衙，要他作都督