Dalzel var aldri gift, men hadde gjennom livet forhold til ihvertfall tre kvinner. Han hadde to sønner, og filantropen Elizabeth Dickson (ca. 1793–1862) var hans datter.