Pastor var gift med Konstanze Kaufmann (1857–1953), datter av Bonns Leopold Kaufmann. De fikk to sønner og tre døtre.