Han var far til skipsrederne Wilhelm Wilhelmsen og Halfdan Wilhelmsen som var blant pionérene i overgangen fra seilskip til dampskip.