Ingrid Norby var datter av grosserer Hans Christian Østrem (1842–1912) og Johanne Thalia Semb (1855–1923). Hun ble i 1917 gift i New York med konsulent Jacob Norby.