Selv giftet Birger seg i 1883 med Ellen Falk (1861–1910) fra Vang i Hedmark, søster av språkprofessor Hjalmar Falk. Datteren Rakel Hall (1887–1941) ble i 1918 gift med forfatter Alf Harbitz.