乘着混乱攻入伊豆，而茶茶丸因为杀死了新将军义澄的母亲（円満院）而被视为反逆者，失去人心的堀越公方因而灭亡。一直以来的説法指此时没有与宗瑞为敌，而是在伊豆韮山的愿成就院自杀；但是实际上在明应4年（1495年），被宗瑞从伊豆国流放，之后依靠山内上杉氏和武田氏来夺回伊豆，在近年的研究中渐渐被明确。明应7年（1498年）8月，在甲斐国（或是伊豆深根城）被宗瑞捕捉而自杀。