家中非常不安定。不只是斋藤家，守护土岐家中亦有暗涌，身为次男的赖艺受到父亲政房相当溺爱，甚至想把长男赖武废嫡，因为政房的关系，于是受到小守护代长井长弘、长井新左卫门尉（斋藤道三的父亲）等人拥立，兄长赖武亦受到守护代斋藤利良支持，双方对立并争夺家督，在永正14年（1517年）爆发合战。赖艺方在此战中败北，不过得到前守护代斋藤彦四郎的助力，在翌年（1518年）再度爆发合战，这次由赖艺一方胜利，赖武被流放而前往越前，并扫除赖武方的势力。不过在永正16年（1519年），得到朝仓孝景支援的赖武方向美浓侵攻，赖