但居氏门生仍然常常聚于十香园，写生作画。抗日战争期间，日军占领广州时曾将司令部设于十香园旁。日军将十香园内房屋推倒，将房梁、檩条等取走用作烧火做饭。一个月后日军撤出，但十香园中的今夕庵、啸月琴馆以及大量家具都被拆毁，只遗存紫梨花馆。1966年文化大革命期间，由于“破四旧”、抄家之风兴起，十香园也未能避免。居家的大量旧家具、书画、文具、族谱、房契等被烧毁。
修复重建.从1998年起，不断有房地产发展商希望买下十香园地产，并出到高价，但居氏后人坚持不肯卖出。2004年，居家将十