Birger Madsen kom til Skeid fra Manglerud/Star som 13 åring og ble i klubben i 12 år. Han kommer fra en Skeidfamilie der far, Inge Madsen, har vært webansvarlig for Skeid.no, og Madsens onkel, Håkon Lier Madsen, er tidligere Skeidspiller og styremedlem i klubben.