Han var sønn av kjøpmann Anders Gulowsen og Nanna Emilie Gabrielsen, og bror av operasangerinnen Lona Gulowsen. I 1863 ble han gift med Maren Magdalene Rømcke (1843–1915), og var far til legen Otto Gulowsen.