天平宝字元年(757年)に発生した橘奈良麻呂の乱においては、謀反に加わったとして、死罪は免れるものの処罰を受け、その後長く不遇を託った。