Oltu war unter dem Namen "Oltisi" () im 9. und 10. Jahrhundert Teil des georgischen Königreiches Tao-Klardschetien, ab 1001 des Königreichs Georgien. Nach dem Einfall der Seldschuken wurde es 1080 Teil des türkischen Beyliks der Saltukiden. Den Saltukiden folgten die Rum-Seldschuken. Diesen folgten andere mongolische und türkische Herrscher. Später wurde Oltu Teil des Osmanischen Reiches und blieb dies bis zum Frieden von San Stefano von 1878. Oltu wechselte in russische Hand und war bis 1917 Teil der Oblast Kars. Nach den Wirren der Oktoberrevolution wurde Oltu den Armeniern überlassen. Wenig später bildeten sich muslimische Milizen, die eine Angliederung Oltus an die Türkei anstrebten. Der Oltukonflikt wurde zum Auslöser des Türkisch-Armenischen Krieges. Bei Kriegsende kam Oltu Teil zur Türkei, erhielt 1923 den Status einer Belediye (Gemeinde) und wurde 1926 ein selbständiger Landkreis.