祖的潜邸就被俗称为「都正宫」。到一代时，朝鲜纯祖在1819年封其为晋安君，德兴大院君的奉祀孙重新获得封君的待遇。朝鲜高宗时，大王大妃赵氏因为德兴大院君嗣孙不断轮替，往往无法及时修葺旧宅第、乃至于接近荒废的地步，下旨协助重修并称其为「宫」。1910年日韩合併之后，昌山君李海昌被封为朝鲜贵族之中的侯爵；世袭一代到时，1947年因新日本国宪法生效，爵位被撤销。1913年，都正宫失火被烧毁；1931年之后剩余土地被分割为两百多块出售。其中，都正宫的被认为是在都正宫失火后在遗址上重建的，1977年被列为首尔民俗文