因此历任香港总督入住率不高。自1930年贝璐上任开始，再未有香港总督入住。于第二次世界大战期间，旧总督山顶别墅饱受破坏。由于别墅修葺费高昂，加上贝璐于粉岭落实兴建有另外一座港督别墅，山顶别墅于1946年被拆卸，余下守卫室。别墅原址于1950年代规划成为山顶公园，于1970年代加设凉亭。至今，守卫室未有开放；此前，守卫室为山顶公园职员贮物室，邻近放有农艺小树苗。1977年10月，古物古蹟办事处先后在柯士甸山道及夏力道发现刻有「Governor's Residence」（总督官邸）的方形石头，为前港督别墅界