Han var sønn av forfatterinnen Vilhelmine Ullmann og bror av kvinnesakskvinnen Ragna Nielsen. Han var far til barna Halfdan, Vilhelm, Signe og Ragnar, og oldefar til Liv Ullmann.