Han var sønn av skipsreder Jacob Stolt-Nielsen (1899–1974) og Ruth Amlie (1906–97). I 1956 giftet han seg med Nadia Hayek (1935–) som han møtte i studietidens USA. Et relieff utført i bronse av Per Ung (født 1933) ble i 2001 avduket ved døren til Skimuseet. I 2001 uttalte han at de hadde bodd fast i London i tyve år, og at de ellers eide et stort landsted i Slevikkilen og en olivengård i franske Grasse.