天平宝字8年（764年）に発生した恵美押勝の乱では、一族が悉く処刑された中で刷雄のみは若い時から禅行を修めていた（当時の社会で重んじられていた遣唐使留学生だった経歴が考慮されたものとも）として死罪を免れ、隠岐国への流罪に留められている。