教授门徒数百人，闻名乡里。以茂才为丰县县令。在职三年，县里没有狱讼，为州郡第一。司徒范迁推荐他，任司隶校尉、大鸿胪、大司农。汉明帝以他朝会善议论，永平十二年（69年）七月，接替伏恭为司空。汉章帝即位，以他为先帝名臣，永平十八年（75年）十月命他接替赵憙为太尉，录尚书事。建初四年（79年）二月初五牟融卒。