1926年5月27日去世，终年79岁，他把大宅及私人珍藏的瓷器、名画，悉数捐给当时的香港政府，一直住在云石堂的遮打爵士夫人也于1935年去世，云石堂业权正式转让给港府，港府遂把大楼改为驻港英军海军总司令官邸，易名为Admiralty House，惟在香港日佔时期被日军佔用。香港重光后，云石堂于1946年5月被大火焚毁，其后一直空置，直至1953年拆卸重建为政府宿舍，命名为遮打堂。
守卫室.迄今，云石堂仅存守卫室及入口围墙，均不列于古物古蹟办事处在2009年公布的1,444幢建筑物评