Le nouveau gouvernement de Meiji ordonna la destruction de toutes les anciennes fortifications féodales et, en conséquence, toutes les structures du château furent détruites de 1870 à 1872, la base en pierre de l'ancien "tenshu" servant de fondations pour un sanctuaire shinto, le Ōkubo-jinja, dédié aux esprits des générations de daimyos Ōkubo. En 1909, la villa impériale de Hayama fut construite à l'intérieur du site délimité par les anciennes enceintes castrales intérieures. La villa impériale fut détruite en 1923 par le grand séisme Kanto. Des travaux de restauration de très piètre qualité furent menés sur les murs en pierres en 1930-1931. En 1935, deux des "yagura" (poivrières) restantes (qui avaient été détruites par le séisme de 1923) furent reconstruites mais à l'échelle 1/2.