居館部については北条氏以前の大森氏以来のものとするのが通説であるが、大森氏時代にはより東海道に近く15世紀の遺構が実際に発掘されている現在の三の丸北堀付近にあったとする異説もある。