父・政房には長男の頼武がいたが、政房は次男の頼芸を溺愛して頼武の廃嫡を考えるようになり、政房によって頼芸は小守護代・長井長弘、長井新左衛門尉（斎藤道三の父）らに擁立され、兄の頼武も守護代・斎藤利良の支持を受けたことにより、両者は対立して家督争いが起こり、永正14年（1517年）、合戦となった。
不只是斋藤家，守护土岐家中亦有暗涌，身为次男的赖艺受到父亲政房相当溺爱，甚至想把长男赖武废嫡，因为政房的关系，于是受到小守护代长井长弘、长井新左卫门尉（斋藤道三的父亲）等人拥立，兄长赖武亦受到守护代斋藤利良支持，双方对立并争夺家督，在永正14年（1517年）爆发合战。