Idrettsforeningen hadde opprinnelig tilhold i bydelen Bragerøen, i dag Brakerøya, og klubbens medlemmer figurerer på resultatlister i fra og med 1902. Klubben la opp til å ha mange idretter på programmet, våren 1903 vedtok den å ha sommeraktivitet i sykling, orienteringsløp, fotball, og diverse friidrettsøvelser. På ekstraordinær generalforsamling i april 1904 ble det besluttet å endre navn til Drammens Idrætsforening, fordi foreningen omfattet hele Drammen by.