时，拆除宫殿25间，砍伐古松330棵。1925年，东北陆军第三师兴建营房时，拆毁逍遥趣楼正殿、后殿以及亭子，将木材和匾额运走。到1928年10月，喀喇河屯行宫树木已被砍尽。日军侵占滦平县之后，拆除残存的全部殿宇，在原址兴建了兵营（人称“北大营”）。中华人民共和国成立后，1959年拆除兵营，兴建承德钢铁厂附属的学校与医院。如今喀喇河屯行宫仅存遗址。
建筑.喀喇河屯行宫是由“样式雷”第二代传人雷金玉设计。整个行宫由滦阳别墅（位于滦河北岸）、行宫区（位于滦河南岸）、小金山（位于滦河中间）