解任中纳言职务，友人则被左迁为下野守。嵯峨天皇即位后，友人获得赦免，重返平安京，并且在弘仁元年（810年）出任兵部少辅，其后于弘仁2年（811年）转为担任赞岐守。弘仁7年（816年），友人升至从五位上，弘仁10年（819年）再升至正五位下，最终升至从四位下。弘仁13年8月16日（822年9月4日），友人因病死去，享年56岁，最终官位为相模守从四位下。友人为人心胸狭窄，亦不守礼。另外，他喜好仙道，曾经尝试能否在空中飞翔。