Nordby var gift med Marie Nordby (f. 1884), også hun fra Østre Toten. De fikk barna Hulda (f. 1909), Reidar (f. 1913), Edith (f. 1915) og Erik (f. 1920). Ifølge folketellingen for 1910 bodde Nordby-familien i Grønnegata 79 på Hamar, mens de i 1920 var registrert på adressen Haralds gate 17, også på Hamar. I 1938 tegnet arkitekt Rolf Prag en villa i funksjonalistisk stil for Nordby i Sandvika i Stange, hvor han og konen flyttet.