Şehrin adı kayıtlarda ilk kez 1174'te, Oltava ya da Ltava olarak geçer. Ancak arkeolojik buluntular tarihinin 8.-9. yüzyıla kadar ulaştığını işaret etmektedir. Tatarların saldırılarıyla 13. yüzyılın başlarında yıkıma uğrayan Poltava, 17. yüzyılda bir Kazak alayının merkeziydi. 1709'da I. Petro (Büyük), kenti üç aydır kuşatma altında tutan İsveç kralı XII. Karl'ı Poltova Muharebesi'nde ağır bir yenilgiye uğratmıştı. Şehir, 1802'de il merkezi oldu.