Hansteen ble første gang gift den 7. august 1844 med Adolphine Frederikke Dreyer (1820–1845) og deretter med Alette Schjelderup den 25. februar 1852. Ett av hans fire barn i hans andre ekteskap var kunstmaleren Nils Hansteen.