行政中枢的赤坂阵屋，曾在1689年（元禄2年）迁移至今日赤坂保育园所在的神木屋敷，在经过约两世纪的使用之后，因幕末时三河县的规模削减，而于1869年改制为三河县役所并迁回赤坂屋敷最早设立的位置。跟随三河县废县与废藩置县的实施之后，赤坂阵屋也在1872年（明治5年）时拆除。仅留有当时阵屋的主门（药医门）在1929年（昭和4年）时移筑至邻近的法云寺。