lk kez U-21 forması giydirdi. 1994 U-21 Şampiyonası ön elemelerinde Ümit Milliler, İngiltere ve Hollanda'yı geride bırakmalarına rağmen Polonya'nın bir puan gerisinde kalıp turnuvaya katılamadılar. Fatih Terim, A millî takımın başına geçtiği için son iki maçta takımın başında yer alamadı.

1991'de Terim, Akdeniz Oyunları'nda Türkiye 21 yaş altı millî futbol takımının başında yer aldı. Grubu averajla lider bitiren takım, yarı finalde de Fas'ı yenerek finale çıktı ancak finalde Yunanistan'a yenilerek gümüş madalyayı kazandı. Haziran 1993'te düzenlenen Akdeniz Oyunları'na katılan Olimpik millî takımın başında da Fatih Terim bulunmaktaydı. Daha sonra Galatasaray'da beraber çalışacağı ve kupalar kazanacağı Hakan Şükür, Arif Erdem, Tugay Kerimoğlu, Ergün Penbe'nin yanı sıra Sergen Yalçın, Emre Aşık, Alpay Özalan gibi o dönem daha yıldız olmamış genç isimleri kadroya dahil etti. Türkiye, Zinedine Zidane'lı Fransa'nın olduğu grubu birinci bitirdi ve yarı finalde bir kez daha eşleştiği Fransa'yı 1-0 yenerek finale çıktı. Finalde de Cezayir'i yenerek, altın madalyayı kazandı. Bu başarı Fatih Terim'in kariyerindeki ilk kupa başarısı oldu.

Temmuz 1993'te Sepp Piontek'ten boşalan Türkiye millî futbol takımının başına Fatih Terim geçti. 1994 FIFA Dünya Kupası elemelerinde son iki haftaya 3 puanla giren takımla çıktığı ilk maçta Polonya'yı 2-1 mağlup ederek puanı önce 5'e yükseltti, sonra da Norveç'i yenerek başarısız geçen bir eleme dönemini güzel noktaladı. Bu maçlarda genel olarak Akdeniz Oyunları'nda altın madalya alan genç kadroyu kullandı. Terim asıl başarısını 1996 Avrupa Futbol Şampiyonası elemelerinde gösterdi. 8 eleme maçında 15 puan alan takım, İsviçre'nin iki puan gerisinde kalmasına rağmen 2. olarak 1996 Avrupa Futbol Şampiyonası'na katılma hakkı kazandı. Türkiye, tarihinde ilk kez bu şampiyonaya katılırken, 1954'ten beri ilk kez millî takım uluslararası bir turnuvada temsil hakkı kazandı. Türkiye, D Grubu'nda Hırvatistan, Portekiz ve Danimarka'nın rakibi oldu. Türkiye ilk maçında başa baş mücadele ettiği Hırvatistan karşısında beraberliği son dakikalarda yediği golle koruyamadı ve sahadan 1-0 mağlup ayrıldı. Diğer maçlarda da Portekiz ve Hırvatistan karşısında etkisiz kalıp sırasıyla 0-1 ve 0-3'lük mağlubiyetler alarak turnuvaya gol atamadan ve puansız veda edince Fatih Terim aynı yıl Türkiye millî futbol takımından ayrıldı.

Mayıs 1996'da Fatih Terim, Galatasaray'la yıllar sonra teknik direktör olarak anlaştı ve Avrupa Futbol Şampiyonası'nın bitmesi ile Galatasaray'ın başına resmi olarak geçti. Kadroya Rumen futbolcu Gheorghe Hagi'yi katan Galatasaray, sezona Almanya'da hazırlandı. Terim'in ilk resmî maçı 10 Ağustos 1996'da oynanan Vanspor maçı oldu. Maçı Galatasaray, Hagi'nin golleri ile 2-1 kazandı. Terim, ilk sezonunda Türkiye millî takımında beraber çalıştığı Rasim Kara'nın çalıştırdığı Beşiktaş ile şampiyonluk mücadelesi verdi. Çekişmeli geçen şampiyonluk mücadelesinde iki takım 30. hafta karşı karşıya geldi ve Hagi'nin 86. dakikadaki golüyle maç 1-1 berabere bitti. Böylece 5 puanlık fark kapanmadı ve Galatasaray geri kalan maçlarının hepsini kazanınca Terim kariyerinin ilk Türkiye ligi şampiyonluğunu kazandı. Sezon boyunca iki mağlubiyet alan Galatasaray'ın bu maçları Fenerbahçe derbileriydi. Ayrıca aynı sezon Mart ayında bir önceki seneden kalan Cumhurbaşkanlığı Kupası maçını Fenerbahçe'yi 3-0 yenerek kazandı. Bu kupa Terim'in Galatasaray'daki ilk kupası olmuştu. İki ay sonra aynı kupayı, bu sefer Kocaelispor'u 2-1 yenerek takımıyla birlikte kaldırdı.

1997-98 sezonunda şampiyon kadroyu bozmayan Terim defansa deneyimli oyuncu Gheorghe Popescu ve genç yetenek Fatih Akyel'i monte etti. Ayrıca altyapıdan çıkan 17 yaşındaki Emre Belözoğlu'yu da ekibe dahil etti. Terim, lige iyi bir başlangıç yapamasa da Galatasaray'ı UEFA Şampiyonlar Ligi gruplarına taşıdı. Galatasaray ilk yarıyı 6 puan geride 3. olarak bitirdi, 19. haftadan sonra ise yenilgi yaşamadı. 31. hafta Fenerbahçe'nin 2 puan önünde liderlik koltuğuna oturan takım, iki hafta sonra bir kez daha şampiyonluğunu ilan etti.

Kadroda istikrar sağlayan ve başarıyı yakalayan Galatasaray'daki kaleci problemi de 1998-99 sezonu başında Claudio Taffarel'in takıma katılmasıyla çözüldü. Terim, ayrıca takıma Hasan Şaş'ı kazandırdı. Bir önceki sezon gibi Terim, yine takımını UEFA Şampiyonlar Ligi gruplarına taşıdı. Ligde ve kupada ise Beşiktaş ile mücadele ettiler. Galatasaray, 22. haftada liderlik koltuğuna oturdu ve sezon sonuna kadar bu unvanı korudu. Ayrıca rakibini Türkiye Kupası'nda da yenerek bu kupayı müzesine götürdü.

1999-2000 sezonu Terim'in Türkiye futbol tarihine geçtiği sezon oldu. Sezon her ne kadar Gaziantepspor yenilgisi ile başlamış olsa da Galatasaray bu maçtan sonra Mart ayına kadar ligde yenilmedi. Takım, devre arasına girildiğinde farkı 11 puana çıkarmıştı. Terim, Galatasaray'ı üst üste üçüncü kez Şampiyonlar Ligi gruplarına sokmayı başardı. Kötü bir başlangıça rağmen son iki maçını kazanan Galatasaray yoluna UEFA Kupası'nda devam etti. Bir yandan da Türkiye Kupası'nda adım adım hedefe ilerledi. Devre arasında Tugay Kerimoğlu'nu Rangers'a satan takımda Terim boşluğu Sergen Yalçın ile doldurdu. Çok başarılı geçen sezonda ligi önde götüren takım, UEFA Kupası'nda sırasıyla Bologna, Borussia Dortmund, Mallorca ve Leeds United'ı geçerek Avrupa kupalarında finale kalan ilk Türk takımı oldu. Galatasaray, önce 3 Mayıs'ta Antalyaspor'u uzatmalarda attığı gollerle 5-3 mağlup ederek Türkiye Kupası'nı bir kez daha kazandı. Ardından 7 Mayıs'ta Kocaelispor'u 5-0 yenerek şampiyonluğu büyük ölçüde garantileyip, 12 Mayıs'ya Altay'a 1-0 yenilmesine rağmen 2 gün sonra Beşiktaş'ın Fenerbahçe'ye 3-1 yenilmesi ile şampiyonluğunu ilan etti. Böylece Galatasaray, üst üste dört kez şampiyon olan ilk takım olarak futbol tarihine geçti. Terim de toplamda kazandığı dört şampiyonluk ile Türkiye'de en çok şampiyon olan teknik direktör unvanını Ahmet Suat Özyazıcı ile paylaştı.

17 Mayıs'ta ise Kopenhag'daki finalde, uzatmaları 10 kişi oynamasına rağmen, Arsenal'i penaltılarla yenen takım UEFA Kupası'nı kazanan ilk ve tek Türk takımı oldu. Bu başarının mimarı Terim de bu kupayı kazanan tek Türk teknik direktörü oldu. Bu başarının ardından Terim "İmparator" olarak anılmaya başlandı. Terim, bu başarıdan sonra birçok yabancı kulübün dikkatini çekti. 21 Mayıs 2000'de İstanbulspor ile oynanan ve 1-1 biten maç, Terim'in Galatasaray'daki ilk döneminin son maçı oldu. Gelen teklifleri değerlendiren Terim, üç kupa kazandığı ayın son gününde Galatasaray ile yollarını ayırdığını açıkladı.

2000 yılının Haziran ayında Terim, İtalya'nın AC Fiorentina takımı ile anlaştığını basına açıkladı ve 2000 Avrupa Futbol Şampiyonası sonrası takımının başına geçti. Terim, sezon başında takımda ayrılan Fiorentina efsanesi Gabriel Batistuta'nın yerine Avrupa Futbol Şampiyonası'nın başarılı isimlerinden Nuno Gomes'i kadrosuna kattı. Fiorentina, yeni sezona Avusturya'da hazırlandı. Terim'in Fiorentina'daki ilk maçı Yunan şampiyonu Olympiakos ile oynandı ve rakiplerini 1-0 yendiler. Terim, Fiorentina ile ilk resmi maçına bir önceki sene kazandığı UEFA Kupası'nın ilk turunda çıktı. Ancak, rakipleri Tirol Innsbruck'a deplasmanda 3-1 yenilerek kötü bir başlangıç yaptılar. 3 gün sonra Coppa Italia maçında Salernitana Calcio 1919 yendiler. Bu maç Terim'in de Fiorentina'daki ilk resmi galibiyeti oldu. 28 Eylül 2000'de Tirol ile rövanş maçı berabere bitince Terim ligde sezonu açmadan Avrupa'dan elenerek hayal kırıklığı yaşattı. Sinirlerine hakim olamayan Terim, hakem Orhan Erdemir tarafından tribüne gönderildi. İlk lig maçında Fiorentina Parma'yla son dakikada yedikleri golle berabere kalınca, Terim ve yönetimin arasında bir kriz patlak verdi. İkinci hafta Reggina galibiyetiyle sular durulsa da daha sonra alınan puan kayıpları ile Terim ve kulüp başkanı Cecchi Gori arasındaki tartışmalar sık sık gazetelerde yer aldı.

Terim'in Fiorentina'sı ligde iyi bir performans gösteremedi. 13 Ocak 2001'de AC Milan'ı 4-0 yendikten sonra Fiorentina, uzun bir süre galibiyet yüzü göremedi. Öte yandan takım Coppa Italia'da ise başarılı bir performans sergiledi. Yarı finalde Milan'ı 2-2 ve 2-0'lık skorlarla geçerek takımını finale taşıdı. Bu dönemde Terim'in özellikle Milan ve Internazionale gibi takımlara karşı aldığı başarılar dikkat çekti ve Terim'in adı başarısız bir sezon geçirmekte olan ve teknik direktör değişiklikleri yaşayan AC Milan ile anılmaya başlandı. 25 Şubat 2001'de Brescia karşısında alınan beraberlik sonrası soyunma odasında başkan Gori ile tartışan Terim, bir gün sonra yaptığı basın toplantısında görevinden istifa ettiğini açıkladı. Terim'in yerine daha önce teknik direktörlük yapmayan ve Lazio'nun yardımcı antrenörü olan Roberto Mancini getirildi. Mancini de Fiorentina'daki karışıklığa çözüm bulamadı ve ilk galibiyetini beşinci maçında kazanabildi. Öte yandan Fiorentina, finalde Parma'yı 1-0 ve 1-1 ile geçerek kupayı kazandı.

Adları beraber anılan Milan ve Terim, Terim'in istifası sonrasında anlaşma sağlayınca, 18 Haziran 2001'de Fatih Terim, AC Milan ile 2 senelik bir sözleşme imzaladı. İlk olarak Filippo Inzaghi ve Fiorentina'dan öğrencisi Rui Costa'yı takıma kattı. 16 Temmuz'da Milan, yeni hocası ve yeni transflerini şehir merkezinde düzenlenen ve 3,000 kişinin katıldığı bir tören ile taraftarlarına tanıttı. 22 Temmuz'da Terim'li Milan ile ilk hazırlık maçını Varese ile yaptı ve maçı 2-1 kazandı. Daha sonra 2001 Amsterdam Turnuvası'nda Milan ilk kez İtalya dışından takımlarla mücadele etti. 4 Ağustos 2001'de Mehmet Özdilek'in jübilesi için Terim takımını Türkiye'ye getirdi. Maçı Beşiktaş, 2-1 kazandı. 9 Ağustos 2001'de ilk kez düzenlenen ve uzun süre Milan, Internazionale ve Juventus'un mücadele ettiği TIM Kupası'nın ilk sahibi Milan oldu ve Terim, Milan ile ilk gayrıresmi kupasını kazandı.

Yoğun bir hazırlık döneminden sonra Milan, ilk resmi maçını ligde Brescia karşısında çıktı ve maç 2-2'lik beraberlikle sonuçlandı. Ligin ilk hafta mücadelesi olmasına rağmen, bu skor Milan'da Carlo Ancelotti dedikod