Nord for Ulan Bator ligger de vidstrakte Noin-Ula-gravene fra xiongnutiden, over 2000 år gamle. Et gravkammer fra xiongnutiden er funnet i distriktet Tsjingeltej. Xiongnugravplassene i Belkh-kløften nær klosteret Dambadarjaalin er vernet. Med sin beliggenhet langs bredden av den hellige elven Tuul (, «Dronning Tuul» i legendene), lå Ulan Bator godt innenfor territoriene som ble behersket av en rekke nomadiske riker, som Xiongnu (209 f.Kr–93 e.Kr.), Xianbei (93 e.Kr.–4. århundre), Rouran (402–555), Gokturk (555–745), Uighurkhaganatet (745–840), Khitanriket (907–1125) og Mongolriket (1206–1368). I distriktet Nalajkh står den viktige stelen til den gökturkiske visekhaganen Tonjukuk (cirka 697), med en inskripsjon i gammeltyrkisk skrift som nevner det mongolsktalende folket khitanerne fra øst. En balbal (en antropomorfisk stele) eller en gammel menneskestatue ble valgt som det seremonielle stedet for grunnleggingen for byen da den i 1778 ble anlagt på sitt nåværende sted. I dag står en moderne steinskilpadde på stedet, nær Sukhbaatartorget i sentrum av byen.