Østby ble født i Kristiania (nå Oslo) og var sønn av Christian Østby og Josephine Dorothy Paulson. Han giftet seg med Lizzy Macy Webster (1854–1899) den 7. juni 1876 og sammen fikk de fem barn; fire sønner og ei datter.