Han var sønn av skipsreder Wilhelm Wilhelmsen (1839–1910) og Catharine Fredrikke Lorentzen. Det var faren som i 1861 etablerte rederiet Wilh. Wilhelmsen. Denne Wilhelm (født 1872) ble i 1904 gift med Engelke Julie Engelhart, datter av amtmann Thomas von Westen Engelhart. Deres sønn Tom Wilhelmsen (1911–1978) overtok rederiet.