“三馆”，赐名崇文院。宋太宗端拱元年（988年）建有秘阁，专收善本。元代图籍归秘书监，虽仍有集贤院，秩从二品，但已不再是宫廷文人的活动中心。明清两朝则徒有集贤院之名，清中叶以后，米万钟寓所勺园旧址改为集贤院。清咸丰十年（1860年）十月，英法侵略军占领圆明园前，集贤院一度是囚禁英法俘虏的地方，后与圆明园同毁于大火。