高坂館
築城は14世紀の南北朝時代で、当初の城主であった高坂刑部太輔(高坂氏)は、武蔵江戸氏の流れを汲む豪族で、戦国時代には北条氏に仕えていたと伝えられていた。しかし、史実では高坂氏は応安元年(1368年)の武蔵平一揆の乱で河越氏とともに足利氏満に背き敗れ、高坂氏は遠方に領地替えになっている。また、高坂館に南に隣接する高坂弐番町遺跡で発掘調査が行われて高坂館とは重複しない堀が検出し、出土遺物の時期は13世紀~14世紀であった。このため、高坂氏の館は高坂弐番町遺跡の地に存在した可能性が高くなった。
戦国時代、松山城の戦いで1562年に北条氏が松山城を攻める際に北条氏政は高坂に陣を置いた。現在、高済寺境内周辺に残る土塁や空堀はこのときに作られたものである。
徳川家康が関東入りすると、高坂周辺に3千石を与えられた加賀爪政尚の居館となる。加賀爪氏は最終的に1万3000石の大名となったが、天和元年(1681年)、直清の代に隣地境界争いを起こして領地没収となった。土塁には「加賀爪氏累代之墓」があり政尚以下3代の宝篋印塔が並んでいる。