頼康は堀越六郎(今川氏一門)と崎姫(氏綱の娘)の子氏朝を迎えて養子とし家督を譲るが、この氏朝の代に豊臣秀吉の小田原征伐による後北条氏の滅亡に遭い、庇護者を失って旧領世田谷の実相院に篭居する。