ntakya’ya gelen Büyük Selçuklu Devleti Sultanı Melikşah'ın emriyle İsfahan’a gönderilerek orada göz hapsinde tutulmuştur.

Kılıç Arslan, Sultan Melikşah'ın 1092 yılında vefatından sonra kardeşi Kulan Arslan ile birlikte Anadolu’ya döndü. Kimi kaynaklara göre Melikşah'ın ölümünden sonra meydana gelen taht kavgaları sırasında ortaya çıkan karışıklıktan yararlanarak kaçmışlar; kimi kaynaklara göre Büyük Selçuklu tahtına çıkan Sultan Berkyaruk’un izni ile Anadolu'ya geçebilmişlerdir.

Topladığı kuvvetlerle 1093 yılı başlarında İznik'e geldi. Babasının ölümünden sonra şehri elinde tutan İznik valisi Ebu'l-Kasım, iktidarı saltanat ailesinin varislerine teslim etti. Böylece Kılıç Arslan babasının tahtına çıkarak Sultan unvanını aldı.

İznik' te yönetimi ele alan Kılıç Arslan, bir taraftan babası Süleyman Şah'ın ölümünden beri dağılmış bulunan Devletin birliğini kurmaya çalışırken, bir taraftan da Bizans'a karşı sürdürülen mücadeleyi devam ettirme taraftarıydı. İlk önce İznik’i kuşatmış olan Bizans ordusunu geri çekilmek zorunda bıraktı. Daha önce Bizans tarafından ele geçirilen topraklar yeniden almaya çalışıldıysa da başarılı olamadı. Yıllardan beri Bizans'a karşı savaşan İzmir Beyi Çaka Bey'le Bizans’a karşı ortak harekete geçmek istedi. Çaka Bey’in kızı ile evlenerek onunla akrabalık kurdu.

Bizans İmparatorluğu'nun bölgedeki baskısını kırmak amacıyla “"İlhan"” unvanını taşıyan başkumandanı Muhammed'i bir Selçuklu birliğinin başında Marmara'nın güney kıyılarında Bizans'ın elindeki şehir ve kaleleri ele geçirmek üzere bu yörelere yolladı. Muhammed'in Kyzikos ile Apolyont doğusunda yer alan Apollonias şehirlerini ele geçirmeyi başardı ancak bir süre sonra bu şehirler Bizans kuvvetleri tarafından geri alınınca Bizans'a karşı düzenlenen ilk sefer sonuçsuz kaldı.

Bu sıralarda kayınpederi Çaka Bey, Bizans’ın elindeki Adramytteion (Edremit) kentini ele geçirip Abydos'u kuşattı. Bizans imparatoru I. Aleksios, Kılıç Arslan’ı Çaka Bey’e karşı kışkırtarak kendisine karşı ortak hareket etmelerini önlemeye çalışmıştır. Çaka Bey'in gittikçe güçlenmesini kendisi açısından endişe verici bulan Kılıç Arslan, Bizans ile anlaşarak Çaka Bey üzerine yürüdü. Yeteri kadar askeri gücü bulunmayan Çaka Bey Sultan ile anlaşmak amacıyla onun yanına gitti. Kılıç Arslan kayınpederini güler yüzle karşılamış ancak daha sonra onu öldürtmüştür.

Çaka Bey'in ölümünden sonra Kılıç Arslan ve imparator I. Aleksios aralarında varmış oldukları anlaşmanın devam etmesine karar verdiler. Ancak bu barış dönemi kısa sürmüş olup, Türkler Bitinya bölgesindeki Bizans topraklarına akınlar düzenlemeye başladı. Balkanlarda Kumanlarla savaşmakta olan İmparator, bu savaşı bitirdikten sonra Türk akınlarına karşı Sapanca gölünün güneyinden İzmit körfezine uzanan bir kanal kazdırıp içini su ile doldurarak Türklerin İzmit çevresine girmesini engellemek istedi. Fakat bu projeyi tamamlamadan Mayıs 1096’da Haçlı Kuvvetlerinin Tuna’yı aşarak İmparatorluk topraklarına girdiğini öğrendi.

Haçlı Seferlerine çıkan ilk ordu Keşiş Pierre L'Ermite'in idaresinde toplanmış Fransız, Alman, İtalyan ve diğer milletlerden oluşan disiplinsiz bir kitleydi. 1 Ağustos 1096'da İstanbul'a varan bu ordu hemen Boğaz'dan Anadolu'ya geçirilerek Yalova yakınlarındaki Kibotos karargâhına yerleştirildi. Haçlılar böylece Türkiye Selçuklu Devleti'nin sınırına ulaşarak yağma akınları yapmaya başladı. İmparator I. Aleksios’la, Bizans’ın kendilerine sağlayacağı yardıma karşılık Anadolu’da ele geçirecekleri yerleri bu devlete bırakacakları hususunda bir anlaşma yapan Haçlılar, Selçuklu başkenti İznik yakınlarına kadar ilerleyerek buradaki köyleri yağmaladılar.

Eylül ayı sonlarına doğru 6.000 kişilik Alman-İtalyan birliği İznik civarındaki Kserigordon adında bir kaleyi ele geçirdiğini öğrenen Sultan Kılıç Arslan bir ordu göndererek kaleyi geri aldı. Selçuklu karşısında alınan bu mağlubiyetin intikamını almak üzere yaklaşık 20.000 kişiden oluşan Haçlı ordusu Kibitos'tan ayrılarak İznik üzerine yürüdü. Düşmanı karşılamak üzere yola çıkan Selçuklu ordusu "Drakon" ("Kırkgeçit") adlı köyde yapılan savaşta galip gelerek Haçlı karargahını da ele geçirdi.

Keşiş Pierre L'Ermite'in ordusuna karşı kazanılan başarı, Kılıç Arslan'ın Haçlılar'ı küçümsemesine yol açtı. Haçlıların İznik'e kadar ilerleyemeyeceğini ve ülkesi için bir tehdit olamayacağını düşünerek Kardeşi Kulan Arslan’ı yerine vekil bırakıp Ermeni Gabriel'in kontrolündeki Malatya üzerine yürüdü; Eski bir Bizans valisi olan Ermeni Gabriel, daha sonra Türk beylerinin hakimiyetini tanıyarak hakimiyetini korumuştu. Kılıç Arslan, Orta Anadolu’da güçlü bir devlet haline gelen Selçukluların rakibi Danişmendliler’in genişlemesini engellemek ve babasının ölümüne neden olan Suriye Selçuk Meliki Tutuş’u ortadan kaldırmak için bu sefere çıkmıştı.

Malatya'yı günlerce kuşatmasına rağmen sağlam şehir surlarını geçemeyen Kılıç Arslan, bu sırada çok büyük ve askeri gücü yüksek bir Haçlı ordusunun İstanbul'dan Anadolu'ya geçerek İznik üzerine hareket ettiğini haber alınca kuşatmayı kaldırdı ve İznik'e dönmek için yola çıktı. Bundan sonra I. Kılıç Arslan uzun süre Haçlılar ile mücadele etmek zorunda kalmış ve 1105 yılına kadar yaklaşık on yıl doğuya karşı bir harekette bulunamamıştır.

Kılıç Arslan Mayıs ayı sonunda, 30 günden fazla süren bir yürüyüşten sonra İznik önlerine varabildi. Mayıs sonlarına doğru İznik’e ulaştığında Haçlı orduları şehri kuşatma altına almışlardı ve gönderdiği öncü birliği de başarılı olamamıştı. Daha sonra da bizzat Kılıç Arslan hücuma geçtiyse de Haçlılar’ın sayıca üstünlüğü yüzünden kuşatmayı yaramadı ve geri çekildi. İmparator I. Aleksios’un Haçlılar’la birlik olduğunu, onun tarafından İznik gölüne gönderilen gemilerle kendilerine gelecek yardım yolunun kapandığını ve Haçlılar’ın yeni aldıkları takviye birlikleriyle bir hücuma hazırlandığını gören Türkler, Bizans Kumandanı Manuel Butumites’le anlaşarak şehri ona teslim ettiler. Selçuklu Devleti, böylece Başkentini kaybetti. Kılıç Arslan’ın eşi ve çocukları İstanbul’a götürüldü. Bizans İmparatoru Selçuklu esirlerine çok iyi muamele yapmış; onları fidye karşılığı serbest bırakmıştır. Kılıç Arslan’ın eşi ve çocukları ise fidye almaksızın serbest bırakıldı.

Kılıç Arslan ordusuyla İznik önünden çekildikten sonra Anadolu'daki Türk kuvvetlerini toplamaya çalıştı. Danişmendli Gümüştekin ile Kayseri Selçuklu Beyi Hasan'ı (Kılıç Arslan'ın kardeşi Kulan Arslan'ın oğlu olduğu söylenir)yardımına çağırdı. Haçlı ordusu tam Eskişehir ovasına çıkmakta iken 1 Temmuz günü onlara hücum edip Haçlıların Dorileon Muharebesi (1097) diye andıkları bir baskın muharebesine girişti. Haçlılar bu muharebedeki Selçuklu gücünü gayet abartmaktadırlar; ama son araştırmalara göre I. Kılıç Arslan gücünün 6.000-7.000 kişilik bir hafif süvari birliği olduğu kabul edilmektedir. Bu muharebede ana harp gücü zırhlı ağır süvari şövalyelerinden oluşan Haçlı ordusu galip geldi. Bütün gün süren savaşın ardından gece olunca sultan ordusunu daha fazla yıpratmadan geri çekmeye karar verdi.

Bu mağlubiyetten sonra I. Kılıç Arslan Haçlıların en çabuk bir şekilde Anadolu'dan geçmesine izin vermeyi ve onlarla doğrudan doğruya çatışmaya girişmemeyi tercih etti. Anadolu'da ilerleyen Haçlı ordusu önündeki insan ve hayvan iaşelerini önceden tahrip ederek, onları uzaktan takip etme stratejisini uyguladı. Bundan sonra bu Haçlı ordusunun Anadolu'dan geçişinde Haçlı ordusunun doğrudan doğruya karşısına çıkan Selçuklu ordusu bulunmadı.

I. Haçlı Seferi ordularının Anadolu'dan geçişi Anadolu Selçuklu Devleti'ne büyük bir darbe vurdu. Bizans kuvvetlerinin karşı saldırısıyla Ege ve Marmara kıyılarına kadar ulaşan topraklar kaybedildi ve Selçuklular Orta Anadolu'ya çekilmek zorunda kaldı. Eskişehir ve Akşehir’de savunma
hattı kurdu.

Kılıç Arslan bir taraftan Haçlıların topraklarına verdiği zararları gidermeye çalışırken, bir taraftan da Bizans kuvvetlerine karşı da mücadele verdi. Bundan başka, I. Haçlı Seferi arkasından durmadan Avrupa'dan gelen küçüklü büyüklü Haçlı gruplarına da karşı mücadele etmek zorunda kaldı. Bunlar arasında 1099 yılında Danimarka Kralının oğlu Sweyn the Crusader(Svend Korsfarer) idaresindeki orduyu Akşehir ile Ilgın arasında tamamen yok etti.

Sonunda Suriye üzerinden geçip Filistin ve Kudüs'te yerleşen Frank Haçlılarına destek sağlamak için 1101'de Avrupa'dan ek Haçlı seferi yapıldı. Bu 1101 yılı ek Haçlı seferi İstanbul'dan birbiri arkasından yürüyüşe geçen üç değişik sefer ordusu halindeydi. Birincisi Mayıs 1001'de İtalya'dan Lombardlardan oluşan 20.000 kişilik bir Haçlı ordusu Ankara üzerinden Niksar ve Merzifon'a yürüdü. İkinci ek Haçlı ordusu Haziran sonunda Nevers Kontu Giyom'un komutasında Fransızlardan oluşmaktaydı ve Ankara, Konya üzerinden Ereğli'ye ilerledi. Üçüncü ek Haçlı ordusu Akitanya'lı Giyom idaresinde Fransızlar ve Baverya Dükü Wolf komutasında Almanlardan oluşmakta idi ve ikinci orduyu bir hafta arayla takip edip Ankara, Konya üzerinden Ereğli'ye ilerledi.

Birinci Haçlı Seferi’nden sonra uzaktan takip stratejisi uygulayan I. Kılıç Arslan, 1001'deki ek Haçlı seferi için stratejisini değiştirdi. Haçlı ordusunun yolu üzerinde ve yakınlarında bulunan bütün yerleşkeleri ve yetiştirilen hububat ve yiyecekleri yakıp yıkmaya; Haçlı ordusuna iaşe ve hayvan yemi sağlanmasını önlemeye çalıştı. Önemli su, kuyu ve kaynaklarını battal etmeye veya zehirlemeye karar vererek Haçlıların susuzluktan zayıf düşmelerini sağladı. Bu yeni strateji daha başarılı sonuçlar verdi ve 1101 yılı ek Haçlı seferine iştirak eden üç Haçlı değişik ordusu da, Anadolu içinde (birincisi Merzifon'da; ikincisi ve üçüncüsü de Ereğli'de) imha edildi.

Kılıç Arslan, babası Süleyman Şah'ın fethettiği ancak 1097 yılında Haçlılar tarafından ele geçirilen Antakya'yı geri almak için 1103 yılında sefer düzenledi. Haçlılarla mücadelesi sırasında başta Danişmend Beyi Gümüştegin olmak üzere diğer Anadolu Türk beyleri ile işbirliği yapmış olmasına rağmen Antakya seferine çıktığı sırada Danişmend Beyi ile arası 18 Eylül 1102’de Malatya’nın Gümüştegin tarafından