赖武废嫡，因为政房的关系，于是受到小守护代长井长弘、长井新左卫门尉（斋藤道三的父亲）等人拥立，兄长赖武亦受到守护代斋藤利良支持，双方对立并争夺家督，在永正14年（1517年）爆发合战。赖艺方在此战中败北，不过得到前守护代斋藤彦四郎的助力，在翌年（1518年）再度爆发合战，这次由赖艺一方胜利，赖武被流放而前往越前，并扫除赖武方的势力。不过在永正16年（1519年），得到朝仓孝景支援的赖武方向美浓侵攻，赖艺方被压倒，赖武方胜利，赖武就任美浓守护。不过此时仍然计划夺取政权，在大永5年（1525年）再次举兵