Han var sønn av Haaken C. Mathiesen og hans andre kone Louise Julie Jeanette Larpent og yngre halvbror av Haaken L. Mathiesen. Han giftet seg i 1894 med Celina Ihlen, datter av høyesterettsadvokat og stortingsmann Jacob Thurmann Ihlen. De fikk seks barn, deriblant Haaken C. Mathiesen d.y., som grunnla Texaco i Norge.