Han giftet seg i 1880 med Maren Sofie Hoelstad Enger. De hadde syv barn, der sønnene Rudolf Olsen, Thomas Olsen og Fritz Olsen skulle gå i farens fotspor som redere. Fred. Olsen var også far til Gösta Hammarlund, som var født utenfor ekteskap. Etter Maren Sofies død giftet han seg på nytt i 1925 med Johanne («Hanni») Bjerke, som opprinnelig hadde vært kontordamen hans.