于是在7月杀死牢番并逃狱，下定决心成为堀越公方而把润童子和继母杀死，成为事实上的公方。但是后来听信奸臣的谗言，诛杀笔头家老‧韮山城城主外山丰前守和秋山新藏人等重臣，失去旧臣的支持，内纷波及伊豆国内。明应2年（1493年）10月，兴国寺城的伊势宗瑞（北条早云）乘着混乱攻入伊豆，而茶茶丸因为杀死了新将军义澄的母亲（円満院）而被视为反逆者，失去人心的堀越公方因而灭亡。一直以来的説法指此时没有与宗瑞为敌，而是在伊豆韮山的愿成就院自杀；但是实际上在明应4年（1495年），被宗瑞从伊豆国流放，之后依靠山内上杉氏