Han var oldefar til Liv Ullmann, hvis far var ingeniør og også hadde navnet Viggo Ullmann. Norges første sosiallege var hans barnebarn, og hadde også navnet Viggo Ullmann (Lillehammer, 1920-).