Han er far til seileren Petter Larsen, som også vant OL-gull som mannskap på «Magda IX» i 1912. Datteren Astrid Larsen (1892–1918) var gift med kjemikeren Erling Finne.