ası sebebiyle Semih Kaya'nın oynaması gündeme gelmiş ancak teknik direktör Bülent Korkmaz tecrübesiz olduğu gerekçesiyle Semih'i tercih etmemiş Semih'in yerine ise bir forvet oyuncusu olan Harry Kewell'ı tercih etmiştir. Galatasaray 2-0 öne geçtiği karşılaşmayı 3-2 kaybederek elenirken Semih Kaya'da yedek beklemiştir. Takımda birçok oyuncunun sakat olmasının üzerine ilk lig maçına ise 19 Nisan 2009 tarihinde İstanbul B.B. takımına karşı oynamıştır. "28" numaralı formasıyla 90 dakika sahada kalan oyuncu, savunmanın ortasında Fehmi Emre Güngör ile görev yapmıştır. Bu maçın ardından Ankaraspor ve Hacettepe maçlarında da forma giymiş ancak son 4 hafta kadroya alınmamıştır. Semih Kaya sezonu Süper Lig'de 3 maç toplam 269 dakika, Türkiye Kupası'nda ise 1 maç 2 dakika performansı göstermiştir.
2009-10 sezonunun başında ise Galatasaray, Bülent Korkmaz ile yollarını ayırmıştır. Yerine eski FC Barcelona antrenörü Hollanda'lı Frank Rijkaard'ı getiren Galatasaray, transfer döneminde kadrosunu Abdul Kader Keita, Elano Blumer, Mustafa Sarp ve Leo Franco gibi yıldız oyuncularla güçlendirmiştir. Semih'in pozisyonu olan stoper mevkiine ise Beşiktaş'ın kaptanı Gökhan Zan transfer edilmiştir. Semih sezon başında A takımla yaz kampında yer almış, diz sakatlığı nedeniyle ise ilk 2 hafta kadroya alınamamıştır. Semih iyileşmesinin ardından A takım ile idmanlara çıksa da kadroda Servet Çetin ve Gökhan Zan gibi oyuncuların bulunması nedeniyle o sezon hiçbir maçta kadroya dahi girememiştir.

2009-2010 sezonun ikinci devresinde birçok takım Semih'e talip olmuş ancak Semih, José Couceiro yönetimindeki Gaziantepspor'a satın alma opsiyonlu olarak kiralanmıştır. Takıma gelmesiyle Armand Deumi ve Stjepan Tomas gibi tecrübeli defans oyuncularının arkasında beklemek zorunda kalan Semih, 25 Nisan 2010 tarihinde bu takımdaki ilk ve son maçına, İstanbul BB karşısında çıkmış ve takımı 3-2 mağlup olmuştur. Maça Serdar Kurtuluş, Armand Deumi ve Ivan de Souza gibi futbolcularla savunma da başlayan Semih, 25. dakikada İskender Alın, 37. dakikada ise Hasan Ali Durtuluk'un gollerine engel olamamış ve 41. dakikada yerini takımın Brezilyalı ortasaha oyuncusu Jorginho'ya bırakmıştır. Bu maçın ardından Semih kadroya dahi alınmamıştır. Semih bu takımdaki kariyeriyle ilgili ise bir röportajda "O dönemde Gaziantepspor'un başında Jose Couceiro vardı. Bana sürekli olarak, "Antrenmanlardaki performansını çok beğeniyorum, seni oynatacağım" diyordu ama oynatmıyordu. Ancak bu da benim için bir şans oldu. Çünkü Gaziantepspor'da şans bulamayınca Kartalspor'a gittim ve orada ciddi bir çıkış yakaladım." açıklamalarında bulunmuştur.

Semih Kaya, 2010-11 sezonunda eski takımı Galatasaray'ne dönmüştür. Takımla kampa katılan Semih, ilerleyen günlerde uzun bir süre kadroya katılmak istenen Denizlispor'un sol beki Çağlar Birinci karşılığında bonservisiyle bu takıma verilmiştir. Ancak daha sonra Semih bu transferi kabul etmemiş ve kariyerini Galatasaray'ünde devam ettirebileceğini ancak kiralanırsa bu takımdan ayrılabileceğini söylemiştir. Bunun üzerine sözleşmenin detayları değiştirilmiş ve bütün aksiliklere rağmen Çağlar Birinci kadroya katılmıştır. Semih ise aynı sezonda kiralık olarak 1. Lig ekiplerinden ve eski bir Galatasaraylı futbolcu olan Suat Kaya tarafından çalıştırılan Kartalspor'a transfer olmuştur. Semih Kaya zamanında Egemen Korkmaz, Volkan Demirel, Olcan Adın ve Servet Çetin gibi oyuncuların oynadığı bu takımda ilk maçına 22 Eylül 2010'da Türkiye Kupası maçında Karşıyaka SK karşısında çıkmıştır. Eski bir Galatasaray'lı olan Uğur Demirok ile savunmada görev yaptığı maç 2-2 bitmiş ve maç uzamıştır. Semih "26" numaralı formasıyla uzatmalarda kalesini gole kapatsa da takımı penaltılarda 6-4 yenilerek Türkiye Kupası'na veda etmiştir. Kaya daha sonra Kasım 2010'a kadar A2 takımına yollanmıştır. Kasım 2010'da teknik direktörlüğe yine eski bir Galatasaray'lı Ergün Penbe'nin getirilmesiyle kadroya geri çağırılan Kaya, ilk lig maçına da 14 Kasım 2010'da Çaykur Rizespor karşısında çıkmıştır ve 90 dakika sahada kalmıştır. Bu maçın ardından ligin ilk yarısında şans bulamayan Semih, Lig'in 2. yarısında teknik direktörlüğe Engin Korukir'in getirilmesiyle 18.hafta hariç tüm maçlarda forma giymiş hatta genç yaşında kaptanlık pazubandını koluna geçirmiştir. Bu takımda 18'i 1. Lig, 4'ü A2 Ligi ve 1'i Türkiye Kupası olmak üzere 23 maçta görev yapmıştır ve 18 Ekim 2010 tarihinde A2 Ligi karşılaşmasında Altay'a 2 gol atarak kariyerinin ilk resmi gollerini atmıştır. 2011-2012 sezonu başında ise bonservisi alınmak istense de Galatasaray'a dönmüştür.

2010-11 sezonunun tarihinin en kötü sezonu olarak geçiren Galatasaray, 2011-12 sezonuna köklü bir değişim içerisinden geçerek başladı. Başkanlığa Ünal Aysal'ın getirilmesinin ardından başkan teknik diretörlük koltuğuna ise sarı-kırmızılı takımın efsane ismi Fatih Terim'i getirdi. Fatih Terim'in getirilmesinin ardından Semih'e birçok kulübün talip olmasına rağmen Semih A Takım'da tutuldu. Yaz kampını A takımla birlikte geçiren Semih sezon başında Real Madrid CF, Liverpool FC gibi takımlarla yapılan hazırlık maçlarında defansta Tomáš Ujfaluši, Servet Çetin ve Gökhan Zan gibi isimlerin tercih edilmesi needeniyle şans bulamadı. 2011-12 sezonunun Süper Lig'de ilk haftası olan İstanbul BB maçında kadroda yer alan Semih, "26" numaralı formasıyla Galatasaray'ın 2-1 yenildiği bu maçta yedek bekledi. Lig'in ilk 3 haftasında yedek bekleyen Semih, 4 ile 8. haftalar arasında kadroya dahi alınmadı. 8. haftada Gaziantepspor ile oynanan maçta Gökhan Zan'ın sakatlanması Servet Çetin'in ise kırmızı kart görmesi üzerine tekrar göze girdi. Takımda o mevkiide oynayan sadece Tomáš Ujfaluši ve aslen orta saha olup bazen de defans oynayan Ceyhun Gülselam dışında oyuncusu olmaması nedeniyle Semih kadroya alındı. Fatih Terim, Kayserispor ile 30 Ekim 2011 tarihinde oynanan maçta defansın göbeğini daha tecrübeli olmasına rağmen Ceyhun Gülselam'a değil Semih'e görev verdi. Maça "26" numaralı formasıyla Tomáš Ujfaluši'nin partneri olarak başlayan Semih, 25.dakikada sarı kart görse de takımı 3-0 galip geldi ve 90 dakika sahada kaldı. Maçın ardından ise Fatih Terim ""Semih'e güvenerek doğru karar vermenin sevincini yaşadım. Ben oyuncunun forma isteyenini, formayı sırtına geçirdikten sonra kimseye bırakmayanını severim."" açıklamalarında bulundu. Stoperde birlikte oynadığı Çek oyuncu Tomas Ujfalusi ise ""Semih için çok mutluyum, çok iyi iş çıkardı."' açıklamalarında bulundu. Bu maçın ardından düzenli olarak forma şansı bulan Semih, zaman zaman Gökhan Zan zaman zaman Servet Çetin'le oynasa da genellikle Tomáš Ujfaluši ile görev yaptı. Semih, Galatasaray formasıyla resmî maçlardaki ve Süper Lig'teki ilk golünü 2011-12 sezonunun 19. haftasında oynanan ve maçın ilk yarısında Galatasaray'ın 2-0 mağlup olduğu ancak ikinci yarıda müthiş bir geri döüş yaparak 4-2 kazandığı Samsunspor deplasmanında attı. Normal sezonu 24 maç 1 gol, 1 kendi kalesine gol, 7 sarı kart ve 2,160 dakika ile tamamlayan Semih, o sezon statü gereği takımıyla Spor Toto Süper Final'e katıldı. Bu maçların da hepsinde 90'ar dakikadan "540" dakika şans bulan Semih, Fenerbahçe Şükrü Saracoğlu Stadyumu'nda oynanan ve Galatasaray'ın 1 puan dahi alsa şampiyon alacağı maçta da ilk 11 başladı ve 90 dakika sahada kaldı. Semih ilk tam sezonunda Galatasaray formasıyla ikinci Şampiyonluğunu elde etti ve defanstaki sağlam duruşu ve çabukluğu ile birçok avrupa devinin listesine girdi. 

2012-13 sezonun öncesinde ise yeniden yapılanma adı altında Emre Çolak ve Alper Potuk gibi genç oyuncularla birlikte Abdullah Avcı tarafından A millî takıma çağrılan oyuncu daha sonra bu takımın vazgeçilmezi oldu. 2011-12 sezonunun Şampiyon bitiren Galatasaray, sezon öncesinde Fenerbahçe ile Türkiye Süper Kupası maçında karşılaştı ve uzun süre 10 kişi kaldığı maçı 3-2 kazandı. Semih'te böylelikle ilk Türkiye Süper Kupası şampiyonluğunu yaşadı. Bu maçta Tomáš Ujfaluši'nin cezalı olması nedeniyle takımın Gaziantepspor'dan yeni transferi Dany Nounkeu ile görev yaptı. Semih 2012-13 sezonundaki ilk lig maçına ise ikinci haftada Beşiktaş karşısında çıktı. Ligin ilk haftasında formasını Dany Nounkeu'ye kaptıran Kaya, ligin ikinci haftasındaki deplasmanda 3-3 berabere kalınan Beşiktaş maçında Tomáš Ujfaluši ile savunmanın ortasında görev yaptı. Ancak maçtan birkaç gün sonra Semih'in partneri Tomáš Ujfaluši bağlarından sakatlandı ve sezonu kapattı takıma bu oyuncunun yerine Cris transfer edildi. O sezon savunmanın göbeğinde zaman zaman Dany Nounkeu zaman zamanda Cris ile görev yapan oyuncu, takımyla ilk kez UEFA Şampiyonlar Ligi tecrübesi de yaşadı. Galatasaray'ın 19 Eylül 2012 tarihinde Manchester United ile Old Trafford'da yaptığı maçta Dany ile birlikte gösterdiği başarılı performans dolayısıyla İngiliz takımlarının dikkatini çekmeyi başardı. Gruptaki diğer takımlara da karşı forma giyen Semih, takımıyla gruptan çıkmış hatta bir sonraki turda Schalke 04 ile eşleşmiştir. Bu maçın ikinci ayağında 79.dakikada kafasına darbe alan oyuncu geçici bir süre bilinç kaybı yaşadı ve oyunu sedye ile terketti. Galatasaray bu maçı 3-2 yenerek bir üsttura çıktı. Üstturda ise Real Madrid CF ile eşleşen Galatasaray, ilk maçta deplasmanda 3-0 mağlup olmuş, ikinci maçta ise rakibini 3-2 mağlup ese de averajla elenmiştir. Takımını Türkiye Kupası'nda 1461 Trabzon'a elenmesi ve UEFA Şampiyonlar Ligi'ne veda etmesinin ardından Süper Lig'de ise liderlik koltuğundan hiç inmemiştir. Semih Galatasara formasıyla ilk asistini ise 10 Şubat 2013'te Antalyaspor ile oynanan maçta Burak Yılmaz'a yapmıştır. Semih sezonu Süper Lig'de 25 maç, 1 sarı kart ve 1 asist performansıyla oynarken, UEFA Şampiyonlar Ligi'nde 10 maç, 799 dakika ve 1 sarı kart istatistiğiyle oynamıştır. Ayrıca Galatasaray 2012-13 sezonunda ligi 1.sırada yani Şampiyon olarak tamamlamıştır.
2013-14 sezonu öncesinde ise savunma Kamerunlu millî futbolcu Aurélien Chedjou ile güçlendirildi ve Çek oyuncusu Tomáš Ujfaluši ile yollarını ayırdı. Sezona SSC Napoli ve Málaga CF gibi takımlarla hazırlık maçı yaparak başlay