令御史中丞孙夐弹劾他于吴兴太守任内行为不当，令僧虔被免官。后僧虔白衣兼侍中，出监吴郡太守，又转任使持节都督湘州诸军事、建武将军，行湘州事。及后更转辅国将军、湘州刺史。僧虔在湘州为政以宽厚有恩惠着称，并因当时有大量来自巴崃地区的流民聚居于湘州，僧虔上表将益阳县、罗县及湘西县缘江流民居住点一带区域割出，新建湘阴县以作管理，建议得朝廷採纳并在元徽二年（474年）实行。及后僧虔入为吏部尚书，不久加散骑常侍。元征四年十月辛酉日（476年11月7日）转任尚书右仆射。昇明元年（477年），任尚书左仆射的萧道成拥立宋顺