Han var født i Magdeburg, hjembyen til moren Claire Grevérus Mjøen (1874–1963) som var oversetter. Faren var farmasøyt og eugeniker Jon Alfred Mjøen (1869–1939) fra Gjøvik gård. Fridtjof var bror til blant andre skuespillerne Sonja Mjøen (1898–1993) og Jon Lennart Mjøen (1912–1997). De vokste opp på Vinderen.