しかし、嘉吉元年(1441年)の嘉吉の乱で義教が赤松満祐に暗殺されると後ろ盾を失い、同時に発生した嘉吉の徳政一揆で領内は混乱、延暦寺にも一揆の首謀者と疑われ、京都屋敷を襲撃されて近江に逃亡した。