轶闻.陈庆溎《归里清谈》提到：“（潘祖荫）尚书天阉，与翁常熟（翁同龢）同。一门生不知，初谒时，询问『老师，几位世兄？』，尚书曰：『汝不知我天阉乎』？”
着作.潘祖荫爱好善本书及金石碑版，是古玩字画的专业收藏家，所藏钟鼎彝器多达五百余件，拥有史颂鼎、大盂鼎（今藏于中国国家博物馆）和大克鼎（今藏于上海博物馆），其眼光之厉害，闻名南北，因此被人称作「潘神眼」，着有《滂喜民斋丛书》、《攀古楼彝器款识》等。