Bjørnsen hadde i 1729 giftet seg med Anna Maria Gris (d. 1770), datter av rådmann Christen Eskildsen Gris og Kirsten Leuch og enke etter handelsmann Johan J. Brøgger. Hun døde i kommandantboligen 10 år etter ektemannen.