その後府中城の命令により安東から寺町に移転し、明治25年(1892年)隣家火災が類焼し焼失、昭和15年(1940年)静岡大火で焼失、昭和20年(1945年)静岡大空襲でまたも焼失。