尚书、军机大臣。咸丰十年（1860年），上疏力保被弹劾的左宗棠，说：“国家不可一日无湖南，湖南不可一日无宗棠也。”光绪八年（1882年），任军机大臣；次年（1883年）正月，服父丧去职。光绪十六年（1890年），忽感寒身，热汗不止，十一月病逝于任上；朝廷追赠太子太傅，谥文勤 。
轶闻.陈庆溎《归里清谈》提到：“（潘祖荫）尚书天阉，与翁常熟（翁同龢）同。一门生不知，初谒时，询问『老师，几位世兄？』，尚书曰：『汝不知我天阉乎』？”
着作.潘祖荫爱好善本书及金石