Han var sønn av skolemannen Engelbreth Boye og Dorothea Sophie Styhr. Blant søsknene hans var prestene Peter Christian Boye og Casper Johannes Boye. Faren kom fra København og var rektor ved latinskolen på Kongsberg, der Mathias Andreas ble født, og senere ved katedralskolen i Trondheim.