麻吕左迁因幡员外介，并将其改名为别部秽麻吕，处以流罪大隅国（现鹿儿岛县），但传位给道镜之事亦作罢。神护景云4年（770年）8月，称德天皇驾崩，道镜失势。光仁天皇将清麻吕复位从五位下。之后，历任播磨和丰前之国司。延历7年（788年），任美作、备前两国之国造。延历12年（793年），任造营大夫，尽力于平安迁都的建设。
后世.嘉永4年（1851年），孝明天皇称赞和气清麻吕的功绩赠神阶正一位和「护王大明神」的神号。明治7年（1874年），神护寺境内祭祀清麻吕的庙改称护王神社，列别格官币