Det er bekreftet at J. W. Olsen hadde barn, men kildene er uenige om hvor mange. Olsen er sønn av Johannes Wilhelm Wiberg (10. april 1802 – 1884) og Karen Elisabeth Smith (23. oktober 1801 – 24. september 1884). [3] I senere alder flyttet han til sin søster Laura i Moss.