北条幻庵的婿养子北条三郎（上杉景虎）成为了上杉谦信的养子并和北条幻庵断绝关系。1581年，北条氏光协助在戸仓城守备的北条氏家老松田宪秀和笠原政尧父子一起背叛武田胜赖，并夺取武田氏的领地骏河东郡。武田氏灭亡后，领土再次落入德川家康。天正1590年的小田原之战，北条氏光在足柄城率军到小田原城守备。后来被丰臣秀吉战败，同北条家当主的侄子北条氏直和兄长北条氏规一同作为北条一门和家臣们被流放到高野山。最后北条氏光在10月13日病逝，法名西来院殿柏岳宗意大禅定门。