Birger Pedersen var gift med Sigrid f. Linjordet (* 1890 † 1960). De hadde tre døtre : Gunhild (* 1915 † 2006), Karen (* 1919 † 2016), og Borgny (* 1921 † 2003) - som tidligere var gift med motstandsmannen og senere politiker Erik Gjems-Onstad.