ただし、盛時は亡くなるまで韮山城を根拠としており、小田原城を拠点としたのは息子の伊勢氏綱(後の北条氏綱)が最初であったとされ、その時期は氏綱が家督を継いだ永正15年(1518年)もしくは盛時が死去した翌永正16年(1519年)の後とみられている。