绵德在干隆四十九年晋为贝子，保存至今的府邸即为贝子府的规制。清朝末年，该府由毓祥继承，因此又被称为“祥公府”。清朝被推翻后，1913年中华民国北京政府蒙藏院在此开办蒙藏学校，1924年在东侧院建立松坡图书馆第二馆（即外文部）。1923年秋，李大钊、邓中夏等人来该校开展革命活动。1924年，乌兰夫、奎壁等青年学生成为中国共产党第一批蒙古族党员，并在这里组建了中国共产党第一个少数民族党支部。1949年中华人民共和国建立后，中央民族学院附属中学（前身即蒙藏学校）曾以此为校址。1980年代，曾被计划拆除以建