Han vokste opp i Trondhjem, Farsund og Levanger som sønn av tollkasserer Christopher Due og Augusta Louise Gude. Han giftet seg i 1871 med Thora Jelstrup, datter av brukseier Hans Severin Jelstrup og Caroline Louise Steen på Mo gård ved Levanger. Han ble far til banksjef Eilif Due og farfar til stortings- og fylkesmann Reidar Due.