しかし永正4年(1507年)6月23日永正の錯乱で細川政元が暗殺(永正の錯乱)されると、赤沢軍は総崩れになってしまった。