Hans foreldre var Georg Friedrich Wilhelm (egentlig Ballhorn) Rosen (1820-1891) og Serena Anna Moscheles. Friedrich Rosens mor var av britisk-jødisk herkomst. Friedrich Rosen tilbrakte flere av sine ungdomsår i Jerusalem, der hans var prøyssisk konsul.