于延历24年（805年）获任命为播磨权介，延历25年（806年）再升任至播磨介。然而在大同2年（807年）爆发的中，友人的外甥伊予亲王遭到藤原北家的诬告其谋反，平城天皇便下令捉拿伊予亲王及其母藤原吉子，两人最终在服毒自杀，友人与兄长雄友，同为藤原南家的中纳言等人均遭到连坐，雄友被流放至伊予国，乙叡被解任中纳言职务，友人则被左迁为下野守。嵯峨天皇即位后，友人获得赦免，重返平安京，并且在弘仁元年（810年）出任兵部少辅，其后于弘仁2年（811年）转为担任赞岐守。弘仁7年（816年），友人升至从五位上，弘仁1