Terim tutustui uransa loppupuolella Galatasarayta valmentaneeseen Jupp Derwalliin, joka vaikutti Terimin myöhempään uraan valmentajana. Hän aloitti uransa Ankaragücün valmentajana 1987 ja siirtyi 1989 Göztepen päävalmentajaksi. 1990 Terim nousi yllättäen Turkin maajoukkueen apuvalmentajaksi ja alle 21-vuotiaiden A-maajoukkueen päävalmentajaksi. 1993 saksalainen Sepp Piontek jätti maajoukkueen päävalmentajan tehtävät ja Terim nousi hoitamaan tehtäviä. Terim johdatti Turkin EM-kisoihin 1996 nousten valmentajana aivan uudelle tasolle. Itse turnaus meni kuitenkin penkin alle ja Turkki hävisi kaikki ottelunsa. Kisojen jälkeen Terim jätti maajoukkueen ja siirtyi Galatasarayn päävalmentajaksi.