5年（1079年）1月、乙辛が知南院大王事として左遷されると、余里也は乙辛の党与として失脚し、天平軍節度使として帰邸させられた。
太康五年（1079年）正月，乙辛左迁知南院大王事，余里也因为是乙辛之党而倒台，免为天平军节度使归邸。