1889年），补冀宁道，再迁湖南按察使，授山西布政使。官至湖南巡抚，光绪二十八年（1902年）七月爆发湖南辰州教案，英国传教士步邵祖、罗国全被杀，贺金声率众起义，被俞廉三诱杀。二十九年冬，迁山西巡抚，但俞廉三不想再栈恋官场，称疾辞归。过武汉时被湖广总督张之洞慰留。光绪三十三年八月，以候补侍郎充修订法律大臣，协理开办资政院事务。奏呈《大清刑事诉讼律草案》，清政府还裁可实施法部奏呈的《民刑事诉讼费暂行章程》。宣统元年（1909年）闰二月，补授仓场侍郎。1912年2月卒于天津。谥敏僖。徐锡麟是俞廉三的侄子，俞