在朝鲜哲宗即位之前，生父李㼅在1801年的辛酉迫害中被牵连而被流放，1822年时受赦免，之后曾回到汉城府，并与妾室廉氏（龙城府大夫人）于1831年在这里生下第三子李元范，也就是后来的哲宗。哲宗即位后追尊生父为全溪大院君，翻修这里作为宅第并赐给异母兄永平君，任命他来主祀全溪大院君；永平君的后代子孙此后住在这里，直到朝鲜日治时期。永平君的曾孙李海昇在日韩合併时被日本封为朝鲜贵族的侯爵，后因债务搬到西大门区居住。1930年，李海昇把楼洞宫卖给建筑师，所得给儿子、媳妇拿去建造首尔希尔顿酒店和；郑世权则把楼洞宫以