左迁侍读，入值南书房，任日讲起居注官。历任侍读学士、光禄寺卿、左副都御史、工部侍郎、户部侍郎、大理寺卿，礼部右侍郎、工部尚书、刑部尚书、兵部尚书、军机大臣。咸丰十年（1860年），上疏力保被弹劾的左宗棠，说：“国家不可一日无湖南，湖南不可一日无宗棠也。”光绪八年（1882年），任军机大臣；次年（1883年）正月，服父丧去职。光绪十六年（1890年），忽感寒身，热汗不止，十一月病逝于任上；朝廷追赠太子太傅，谥文勤 。
轶闻.陈庆溎《归里清谈》提到：“（潘祖荫）尚书天阉，与翁常熟（翁同