Han var sønn av Anders Nilsen(30. mars 1841, Eiker–) og Thora Karine Nilsen(ca. 1843–). Hans Olaf var gift med Helga O. Nilsen(3. februar 1876, Drammen – 1955) og sammen hadde de barna: Borghild Andrea Nilsen(26. juni 1900, Sverige), Hjørdis Marie Nilsen(22. september 1905, Lysaker)og Arne Erling Nilsen(27. august 1907, Drammen – Død: 18. juni 1988).