信濃国守護であった小笠原氏は、当初は井川館を拠点にしていたが、長禄3年(1459年)、府中小笠原家の小笠原清宗が築城したとされる。