Hans far, Suleyman, døde i 1086, og Kilij Arslan ble gissel hos sultan Malik Shah, øverste leder over seldsjukkenes imperium, men ble satt fri da Malik Shah døde i 1092. Han ledet så hæren til den tyrkiske oghuz yiva-stammen og etablerte sin hovedstad i Nikea. Der erstattet han Amin 'l Ghazni, guvernøren som var utnevnt av Malik Shah.