不和其他人有所往来。几年以后，第五伦被任命为宕渠县令。第五伦任职四年后，升任蜀郡太守。
汉章帝时期.永平十八年十一月二十四日戊戌（75年12月20日），第五伦升任为司空。因第五伦任蜀郡太守时，公正清廉，推荐的官吏都很称职，所以汉章帝才将他调回朝廷任用。汉章帝因明德太后的缘故，尊崇舅父马廖，马氏兄弟身居要职。马廖等人放下身段广结交友，很多身居要职的大臣趋附他们。第五伦认爲外戚势力庞大，打算让朝廷抑制他们的权势，于是上疏劝谏。但意见并没有被採纳。后来马防担任车骑将军，准备出征西羌，