Birger var sønn av Andreas Halvorsen (1840–) og Olava Hansine (1844–1927). Birger giftet seg med Ingrid Bergwitz (1882).