中古蒙古语史籍称为“额里哈牙”（Ariqaya）或“额里合牙”，或“伊鲁盖”。五代十国后周时为灵州（今宁夏吴忠市西北）所属的怀远县，北宋初年仍为灵州河外怀远县，西至贺兰山六十里，后被废为怀远镇，为灵州河外六镇之一，管理蕃部六族汉户主客223户。宋真宗咸平年间，被李继迁所据。其子李德明认为西平府（灵州）地居四塞之地，不利于防守，不如怀远背山面河形势有利，改怀远镇为兴州。天禧四年（1020年），派遣大臣贺承珍督率役夫，北渡黄河建城，营造城阙宫殿及宗社籍田，迁都于此。西夏景宗李元昊继位后，1033年又广建