Den 2. februar 1848 ble han gift med Johanna Jensdatter (1825–1901) på Nesna. Gründer og kvinnesakskvinne Fredrikke Tønder-Olsen var Elias Olsens datter.