Fredriksens kone gjennom 29 år, Inger Astrup Fredriksen, døde den 27. desember 2006 av kreft. Med Astrup Fredriksen har han tvillingdøtrene Kathrine Fredriksen og Cecilie Fredriksen, som begge er direktører i børsnoterte selskaper.