紧张，迁厅至信浓国也有从领地狭小的奥殿撤出，从而躲避东海道一触即发的动乱的用意。松平乘谟热心于西洋军事理论，对适应炮击战的新式城塞设计有所了解，故而将新的阵屋设计为稜堡式城郭。文久3年（1863年11月），在多个备选地址中，正式确定佐久郡为筑城地点。元治元年（1864年）3月，筑城开始（一说1863年11月）。筑城花费共4万两。庆应2年（1866年）12月，石垣和土垒竣工，庆应3年（1867年）4月，城郭内的御殿完工。完工时允许领民与藩士前去参观。然而，由于藩主乘谟就任老中格陆军总裁之职（当时陆军最