Birch var gift med Anna Cathrine Stenersen (f. 1791, d. 1840), datter av byfogd Stenersen på St. Thomas. De ble foreldre til to sønner, statsråd, amtmann og ordfører Christian Birch-Reichenwald samt landhandler og brukseier Fredrik Reichenwald Birch.