Fredrik Møller var sønn av lektor Jørgen Emil Møller (1868–1938) og sanger Cornelia Louise Diewertje («Lalla Møller») Berckenhoff (1882-1971), og ble gift 26. oktober 1946 med sykegymnast Inger Kristine Thoresen.