Det har blitt funnet bevis for at området har vært bebodd av mennesker siden tidlig paleolitikum. En rekke funnsteder på og fjellene og , som var bebodd i paleolittisk tid, ble oppdaget under Aleksej Okladnikovs arkeologiske undersøkelser i 1949 og 1960. I 1962 ble en rekke paleolittiske redskaper oppdaget på fjellet Songinokhairkhan og Buyant-Ukhaa (23 steinredskaper). Disse har man tidfestet til å være mellom 300 000 og 40 000–12 000 år gamle. Okladnikov oppdaget også et sen-paleolittisk bosted på sørøstre side ved foten av Zaisan-høyden nord for Bogd Khan Uul. De nedre lagene av dette lagdelte området inneholdt materialer og ferdige redskaper laget med levalloisteknikken. Disse sen-paleolittiske folkene jaktet mammut og ullhåret neshorn, hvis knokler er å finne i store mengder omkring Ulan Bator. Bergmalerier fra bronsealderen (3000 år gamle) malt med rød oker er funnet i Ikh Tenger-kløften på nordsiden av fjellet Bogd Khan Uul, på siden som vender mot byen. Maleriene har som motiver menneskefigurer, hester, ørner og abstrakte mønstre som horisontale linjer og store firkanter med hundrevis av prikker i. Samtidige malerier i samme stil har blitt funnet nær vestre side av byen , såvel som i Khovsgol aimag og i det sørlige Sibir, hvilket indikerer en felles sørsibirsk, nomadisk kultur. Bogd Khan Uul var antakelig et viktig religiøst kultsted for dette folket.