与高国对立的细川晴元，在阿波国人三好元长的援助下，拥立义晴之弟义维，并与高国开战。元盛的被杀后，其两位兄长波多野稙通、柳本贤治等叛离高国。大永7年（1527年），桂川原之战中细川高国被打败，细川晴元及实权掌握者三好元长等人攻入京都。足利义晴与细川高国、武田元光等人逃亡至近江国（今滋贺县）。享禄元年（1528年），在近江国人朽木稙纲的帮助下居住在朽木（兴圣寺），以若狭守护武田元光等军事势力为后盾，同三好元长所拥立堺公方足利义维对立。享禄4年（1531年），细川高国在中岛之战中被打败，不久又在大物崩中兵败自