Bergersenfjella, Statsrådsbreen og Birgerhøgda i Dronning Maud Land er oppkalt etter ham. Han var sønn av lærer Hans Christian Bergersen (1835–1925) og Ingeborg Kristine Heitmann (1848–1938). Han ble gift 1930 med Benedicte (Benny) Nicolaysen (1897–1981).