1504年(永正元年)に入ると赤沢朝経と細川政元が対立するようになる。