Foreningen ble grunnlagt 18. april 1918 av lokale ungdommer. Fra starten var aktivitetene knyttet til idretter som fotball, hopp og friidrett. I 1934 startet Holmen sammen med fire andre klubber Norges Ishockeyforbund, og i årene etter hadde foreningen blant annet tre landslagsspillere og en 2.-plass i NM å vise til. Fotballen hadde også en storhetstid på 30-tallet, spesielt de årene landslagsspilleren Harald Strøm var i klubben. Etter krigen ble foreningen slått sammen med Hvalstad IF og ble etter dette det dominerende fleridrettslaget i denne delen av Asker med et stadig økende medlemstall. På 70- og 80-tallet ble idretter som langrenn og tennis tatt opp i klubben, og har i alle år siden hatt stor aktivitet. Tennisgruppa etablerte seg som egen forening i 1997, og ishockeygruppa gjorde det samme i 1998.