豊臣秀吉に敗戦すると、当主で甥の北条氏直や兄の氏規ら生き残った御一家衆や他の北条家家臣と共に高野山に追放され、蟄居中の同年9月15日同地で没した。
后来被丰臣秀吉战败，同北条家当主的侄子北条氏直和兄长北条氏规一同作为北条一门和家臣们被流放到高野山。