来在1941年移交给神户市后，改名为“相乐园”（取自中国古籍中的“和悦相乐”语），并对外开放。庭园基本布局为池泉回游式，同时受到西洋文化的影响，建造了一个广场。在二战前，园内建有小寺家私宅等多处建筑。但在1945年6月的神户大轰炸中，除了欧式风格的旧小寺家厩舍（重要文化财）以外，全部被战火烧毁。但从现存的苏铁树林、大灯笼、围墙、大门等可以推想当初宅院的宏大规模。第二次世界大战后，从神户市各地将一些重要的古建筑拆卸移建至园中，另外也新建了会馆、“浣心亭”等景观，丰富了园内的观赏性。