帝回到洛阳后，杨彪代理尚书令。
晚年沉浮.建安元年（196年），杨彪随汉献帝定都许县。当时大宴百官，兖州刺史曹操上殿，见杨彪神情不悦，惧怕会被趁机图谋，便未敢参加宴会，托病上厕所，趁机离开宴会返回大营。九月，杨彪因病被罢免。当时袁术在淮南称帝，曹操因此以杨彪与袁术是亲戚，想要勾结袁术废献帝为由，将其下狱。将作大匠孔融听说后，连朝服都来不及穿就，就面见曹操说：“杨公四世清德，海内外共同赡仰。周书说父子兄弟犯罪都不相互牵连，更何况因袁氏就归罪于杨公。易经称‘积德行善之家，恩泽及于子孙’