到了1935年，摩根家开始衰落。虽然在卢比拉城堡花了不菲的资金整修，摩根家主要居所改为崔迪迦大宅，卢比拉城堡被用于周末游猎。全部的庄园挂牌出售。城堡内的东西要么搬到了崔迪迦大宅要么就被3日拍卖卖掉了。从此卢比拉城堡无人看管，开始荒芜。紧接而来，第二次世界大战爆发，英国陆军于1941年接管了城堡，期间有美军进驻并因吸烟引发火灾，建筑遭到焚毁。战后，城堡被连同周围土地以农地形式出售，城堡自身再无得到修复或使用，直至今日。商人Ashraf Barakat于1998年购入此地，意图复兴威尔士的马球运动。