右大臣的末子出生，二哥是从四位上参议兼大藏卿，三哥是正三位大纳言，姊姊为桓武天皇夫人。其后，友人在升任从五位下后，于延历24年（805年）获任命为播磨权介，延历25年（806年）再升任至播磨介。然而在大同2年（807年）爆发的中，友人的外甥伊予亲王遭到藤原北家的诬告其谋反，平城天皇便下令捉拿伊予亲王及其母藤原吉子，两人最终在服毒自杀，友人与兄长雄友，同为藤原南家的中纳言等人均遭到连坐，雄友被流放至伊予国，乙叡被解任中纳言职务，友人则被左迁为下野守。嵯峨天皇即位后，友人获得赦免，重返平安京，并且在弘仁元年