Han var sønn av sorenskriver Christopher Benedict Bøgh (1773–1825). I 1836 ble han gift med Anne Dorothea Sagen, en datter av Lyder Sagen. Etter hennes død i 1850 ble han gift igjen med Laura Severine Hveding, datter av presten Jacob Hveding. Han var far til skuespilleren Albert Vilhelm Bøgh og museumsdirektør Johan Bøgh.