Fred. Olsen tilhører slekten Olsen fra Hvitsten; han er oldebarn av Petter Olsen som startet som skipper og skipsreder i Hvitsten og som la grunnlaget for det senere firmaet Fred. Olsen & Co. Onkelen Rudolf Olsen ledet familiefirmaet i en årrekke og var dets drivende kraft; Rudolf Olsen tok opp sin yngre bror, Fred. Olsens far Thomas Olsen, som partner. Etter Rudolf Olsens død i 1951 forsøkte Thomas Olsen, som inntil da hadde inntatt en nokså underordnet rolle, å drive videre, men måtte allerede fire år senere tre til side. På grunn av en firmaklausul om at ingen kvinner kunne sitte i ledelsen, ble Rudolf Olsens eneste barn Sofie Helene Olsen utelukket fra å etterfølge faren, og hun valgte i stedet å starte sitt eget rederi Olsen Daughter. Fred. Olsen, som var hennes fetter, ble i stedet den som overtok ledelsen av familiefirmaet. Fred. Olsen har en yngre bror, Petter Olsen.