Khanty-Mansijsk ble grunnlagt i 1930 som arbeidsbosetningen (russisk: Остяко-Вогульск), etter de foreldete navnene ostjaker og voguler for de lokale folkegruppene khantyer og mansier. I 1940 ble navnet endret til Khanty-Mansijsk. Den ble i 1950 slått sammen med landsbyen Samarovo, som har vært kjent siden 1500-tallet, og fikk samtidig innvilget bystatus.