Han var sønn av Peder Rasmussen Boye (1717–1793) og Maren Nielsdatter Kjær (1723–1810). Faren var sjømann som i 1754 fikk borgerskap i København og startet med lerretsutsalg. Broren Johannes Boye (1756–1830) filosof og far til forfatteren Adolph Boye (1784–1851). Fra sitt første ekteskap med sorenskriverens datter Dorothea Sophie Styhr (1753–1798) ble Engelbreth far til presten Peter Christian Boye (1790–1880), salmedikteren Casper Johannes Boye (1791–1853) og skolemannen Mathias Andreas Boye (1796–1872). Disse tre gikk ut av katedralskolen i Engelbreths rektorperiode. Et halvt år etter Dorotheas død giftet han seg med søstera, ho Maren Christine Styhr (1761–1799) som dør etter ett år (barselseng). Den tredje kona fra 1801 er fogdens datter Anna Dorothea Barth (1772–1850).