I antikken var byen kjent som som kommer fra luvisk. Byen var under romerene og senere Bystants før den ble erobret av seldsjukkene tidlig på 1100-tallet. Byen ble besatt av Fredrik Barbarossa i 1190. I 1256 ble byen erobret av den tyrkiske beyen Karamanoğlu Mehmet Bey som byen senere ble oppkalt etter. Fra 1275 var byen hovedstad for Karamanid-dynastiet som var et tyrkisk fyrstedømme. I 1468 ble byen inntatt av osmanerne og hovedstaden ble flyttet til Konya. Karaman har flere ruiner fra Karamanid-tiden.