På slutten av 1800-tallet fantes det flere fotballklubber i Halden, eller som byen den gang het. I 1904—05 dannet alle klubbene i byen . Når den foreningens hovedfokus ble rettet mot friidrett, etablerte de fotballinteresserte medlemmene 19. juni 1906 på Os i Halden, og Edvard Sem jr. ble valgt til formann.