晩年には筆頭家臣の伊庭貞隆との抗争に明け暮れた(伊庭氏の乱)。