Han var sønn av skipsreder Morten Wilhelm Wilhelmsen (Wilh. Wilhelmsen) og hustru Catharina Fredrikke Lorentzen. Han ble i 1891 gift med Ragnhild Oppen fra Larvik. Sammen fikk de datteren Else, som fra 1958 til 1985 var overhoffmesterinne ved det kongelige norske hoff.