Albert Vilhelm Bøgh var sønn av sorenskriver Ole Bøgh (1810–1872) og Anna Dorothea Sagen (1809–1850). Han var bror av Johan Bøgh.