戦国時代に築城されたが、江戸時代初頭に廃城となり、同地の二之丸に庭瀬藩庁を設け、庭瀬陣屋(にわせじんや)となった。