Matson var gift tre ganger. Første gang var i midten av 1870-årene med Margaret Neil i California som ble omtalt 7. desember 1917 i , De fikk fem barn: Walter (1877), Ida (1879), Emily (1881), Arthur (1882), og Theodore (1884). Walter Matson ble senere leder av farens omfattende virksomhet. Matsons ble skilt og kaptein Matson giftet seg med Evadne Knowles i juni 1887.Hun døde noen måneder senere.