Niels Georg var sønn av kjøpmann, skipskaptein og fyrforvalter Abraham Georg Sørensen (født 1794) og Anne Elisabeth (Nancy) Samuelson (født 1801). Han giftet seg i 1859 med Magdalene Margarethe Dahl (1836–1861) datter av kjøpmann Hans Herlof Dahl (1801–1866) som var født i Molde, men ble kjøpmann i Kristiansund. Kona døde i Stockholm i 1861. Dernest giftet han seg i 1871 med den tretten år yngre Sofia (Lizinka) Elisabeth af Ugglas (1847–1924), datter av den svenske greven Ludvig af Ugglas (1814–1880) fra Stockholm. Hans første datter Magdalena Margrethe (1861–1924) fra det første ekteskapet, ble i 1883 gift med statsminister og landshøvding, Baron Gerhard Louis de Geer af Finspång (1854–1935), eller bare Louis De Geer. I sitt andre ekteskap hadde han sønnene Olof Tryggve (født i 1879) og Einar Folke (født i 1875).