Han var sønn av Engelbreth Boye og Dorothea Sophie Styhr. Blant søsknene hans var rektor og stortingsmann Mathias Andreas Boye og prest og salmedikter Casper Johannes Boye. Faren kom fra København og var rektor ved latinskolen på Kongsberg og senere ved katedralskolen i Trondhjem. Deres farbror var filosof og rektor Johannes Boye, og litterat Adolph Boye var deres fetter.