Seine Eltern waren der schwedische Oberstleutnant a. D. und Postdirektor von Stralsund Friedrich Boye af Gennäs (* 1723; † 18. Dezember 1809) und dessen Ehefrau Friederike Karoline von Blessingk (* 20. Februar 1752; † 4. Februar 1828). Sein Bruder Frederik Carl (* 7. Juli 1773; † 8. Februar 1857) ging nach dem Krieg nach Stockholm und wurde Herausgeber des ersten schwedischen Künstlerlexikons.