支持的高延击败和流放。后来，高延亦与亮政对立而被流放，于是京极氏衰退。被流放后，在南近江的六角氏支援下，与高延、亮政斗争。后来与父亲一同被与高延对立的浅井氏一同迎到北近江，一时间成为北近江的领主，不过因为只是傀儡，于是离开近江。之后成为第13代将军足利义辉的近臣，不过在永禄3年（1560年），为了夺回权力，返回近江并与六角氏连结，向浅井贤政（后来的长政）举兵，不过失败，完全失去在近江仅存的支配权。永禄8年（1565年），在义辉于永禄之变中被暗杀后，尽力拥立义辉的弟弟义昭。不过在义昭与织田信长对立后，