吏都很称职，所以汉章帝才将他调回朝廷任用。汉章帝因明德太后的缘故，尊崇舅父马廖，马氏兄弟身居要职。马廖等人放下身段广结交友，很多身居要职的大臣趋附他们。第五伦认爲外戚势力庞大，打算让朝廷抑制他们的权势，于是上疏劝谏。但意见并没有被採纳。后来马防担任车骑将军，准备出征西羌，第五伦再次上疏，仍然没被採纳。建初元年（76年），校书郎杨终上疏认为近年在北方讨伐匈奴，向西方开通三十六国，导致百姓连年服徭役，运输耗费资金庞大。百姓愁苦足以憾天动地，因此希望汉章帝留意省察。汉章帝将杨终的奏书下交让大臣们讨论，第五