神，大神再度拒绝听取宣命，清麻吕回到朝廷后向称德天皇表示新神託为：「我国开辟以来，君臣之份已定，以臣为君未之有也。天之日嗣必立皇绪，无道之人宜早扫除。」（）。天皇对清麻吕的报告大怒，将清麻吕左迁因幡员外介，并将其改名为别部秽麻吕，处以流罪大隅国（现鹿儿岛县），但传位给道镜之事亦作罢。神护景云4年（770年）8月，称德天皇驾崩，道镜失势。光仁天皇将清麻吕复位从五位下。之后，历任播磨和丰前之国司。延历7年（788年），任美作、备前两国之国造。延历12年（793年），任造营大夫，尽力于平安迁都的建设。