養老6年(722年)に不敬の罪で佐渡島に配流されるが、天平12年(740年)に恩赦で入京を許された。