墅当时被形容为「山顶最宏伟最美观的建筑物」。虽然其时旧山顶道及山顶缆车已经开通，但是交通仍然不方便，因此历任香港总督入住率不高。自1930年贝璐上任开始，再未有香港总督入住。于第二次世界大战期间，旧总督山顶别墅饱受破坏。由于别墅修葺费高昂，加上贝璐于粉岭落实兴建有另外一座港督别墅，山顶别墅于1946年被拆卸，余下守卫室。别墅原址于1950年代规划成为山顶公园，于1970年代加设凉亭。至今，守卫室未有开放；此前，守卫室为山顶公园职员贮物室，邻近放有农艺小树苗。1977年10月，古物古蹟办事处先后在柯士