Han var sønn av skipsreder Wilhelm Wilhelmsen (1872–1955) og Engelke Julie Engelhart. Hans farfar var skipsreder Wilhelm Wilhelmsen (1839–1910) som i 1861 startet rederiet Wilh. Wilhelmsen, mens hans morfar var statsråd Thomas von Westen Engelhart.