Fredrik Odfjell var sønn av akipsfører Berent Daniel Olsen (1849–1912) og Anna Severine Tønnesen (1857–1916). Han var bror av skipsreder Abraham Odfjell (1881–1960) og sammen grunnla de Rederiet Odfjell i 1915.