Hans far Johan Frederik Thaulow (1768–1833) var født i Kristiansand som sønn av auksjonsdirektør og rådstueskriver Henrik Arnold Thaulow, men arbeidet som amtsforvalter i Åbenrå i Sønderjylland, hvor han giftet seg med Caroline Henriette Looft fra Vandsbæk (nå bydelen Wandsbek i Hamburg). Fire av deres ni barn valgte å slå seg ned i farens hjemland, blant dem Heinrich Arnold, kjemiprofessor Moritz Christian Julius Thaulow og apoteker Harald Conrad Thaulow, far til maleren Frits Thaulow.