松平乘谟热心于西洋军事理论，对适应炮击战的新式城塞设计有所了解，故而将新的阵屋设计为稜堡式城郭。文久3年（1863年11月），在多个备选地址中，正式确定佐久郡为筑城地点。元治元年（1864年）3月，筑城开始（一说1863年11月）。筑城花费共4万两。庆应2年（1866年）12月，石垣和土垒竣工，庆应3年（1867年）4月，城郭内的御殿完工。完工时允许领民与藩士前去参观。然而，由于藩主乘谟就任老中格陆军总裁之职（当时陆军最高职位），经济上和精力上都捉襟见肘，故而被迫做出了简化石垣等调整，与原本的设计相比，