Herkules IF eller «klubben utafor bruene» som det ofte blir titulert med, ble stiftet 4. mai 1920 ved siden av fabrikkbygningen til daværende Skiensfjorden Skofabrikk. Klubben var fra begynnelsen av aktive innen: ski, friidrett og fotball.