Klubben ble stiftet i et vedskjul i Vestregate den 5. august 1921 som Vestergatens FK. Navnet ble raskt endret til Djerv, før man i 1923 fikk det nåværende navnet. Klubben spilte sine hjemmekamper i Ødegårdsdalen frem til 1939, da idrettsplassen ved Arendalsveien ble tatt i bruk. Der spilte Jerv frem til 1954, da anlegget på Levermyr blir innviet.