Den senere landslagsspilleren Martin Johansen spilte for klubben tidlig i sin karriere. A. N. Baardsen representerte Drammens Idrætsforening som visepresident i fotballforbundet i perioden 1907–1909. Idrettsforeningen var dessuten med på å stifte Vestfold fotballkrets i Larvik 6. august 1905. Kretsen ble senere splittet opp i Grenland, Vestfold og Buskerud fotballkretser.