Han var født i Christiania som sønn av brigadelege Martin Rasmus With (1788–1848) og Helle Alethe Ramm (1800–1885), og ble gift 24. april 1855 med Agnes (Valeska) Schmidt (1829–1917). Hans morfar var eidsvollsmannen Eilert Waldemar Preben Ramm.