しかし、天平宝字元年(757年)に発生した橘奈良麻呂の乱では、一族から多治比犢養・礼万呂・鷹主と複数の処罰者を出したことを咎められ、公卿として相応しくないとして中納言の任を解かれた。