Klubben ble stiftet i 1946, som "Dynamo", men skiftet i 1948 navn til "Neftjanik" og i 1958 til "Terek". På 1990-tallet var laget lagt død i noen år på grunn av krigen i Tsjetsjenia. Fra 1990-tallet til og med 2007 hadde klubben derfor base i nabobyen Pjatigorsk, Stavropol kraj. Terek debuterte i den øverste ligaen i 2005 etter at de vant 1. divisjon i 2004, men rykket ned etter en sesong. I 2007 rykket de opp igjen etter å ha endt på andreplass. Terek har vunnet den russiske cupen en gang, i 2004, og kvalifiserte seg dermed til UEFA-cupen. De vant første runden, men i andre runden røk de ut mot Basel.