佐久郡为筑城地点。元治元年（1864年）3月，筑城开始（一说1863年11月）。筑城花费共4万两。庆应2年（1866年）12月，石垣和土垒竣工，庆应3年（1867年）4月，城郭内的御殿完工。完工时允许领民与藩士前去参观。然而，由于藩主乘谟就任老中格陆军总裁之职（当时陆军最高职位），经济上和精力上都捉襟见肘，故而被迫做出了简化石垣等调整，与原本的设计相比，多有削减之处。庆应4年（1868年），奥殿藩改名为龙冈藩。明治初期，龙冈藩废藩，1872年，龙冈城的建筑物被拆除之后以拍卖处置。堀也遭填埋，直至昭和