Auf der Burg von Afyon lassen sich hethitische Siedlungsspuren nachweisen. Die Stadt hieß in römischer und byzantinischer Zeit "Akroinos" oder "Akroinon". Aus ihrer antiken Geschichte ist kaum etwas bekannt. 740 verteidigte der byzantinische Kaiser Leo III. die Stadt in der Schlacht bei Akroinon erfolgreich gegen die Araber. Unter Kılıç Arslan I. wurde die Stadt seldschukisch. Seit 1382 war Afyon Teil des osmanischen Reiches. Afyonkarahisar war im Osmanischen Reich Hauptstadt eines Sandschaks. Es war durch seine Nähe zum unabhängigen Fürstentum Karaman von militärischer Bedeutung und wird im Zusammenhang mit verschiedenen Aufständen genannt: die Celali-Aufstände 1602, die Revolte von Baba Ömer 1631 und die Revolte von Abaza Hasan Pascha im Jahre 1658. Im Jahre 1833 wurde die Stadt zeitweise durch Ibrahim Pascha, den Sohn von Muhammad Ali Pascha, besetzt.