Han var sønn av Ole Petter Olsen (1830–85) og Susanne Salvesen (1832–1913). Også faren var skipsreder. Ambortius giftet seg med Berthe Jakobsen, dernest i 1885 med Fredrikke Teocara Hvoslef (1866–1944) som var datter av sognepresten i Kragerø. Sønnen Bjarne Lindvig (1891–1936) var gift et par år med sangerinnen Borghild Langaard.