Karatsjajevsk ble grunnlagt i 1926 som . Den fikk bystatus i 1929 og skiftet etterhvert navn til , etter Anastas Mikojan. Fra 5. oktober 1944 til 1. januar 1957, mens karatsjaiene var i eksil i Sentral-Asia, var byen en del av Den georgiske SSR under navnet .