Kaspi è uno dei più antichi insediamenti urbani del territorio georgiano. Fu uno dei più grandi ed importanti centri dell'Iberia caucasica. Nell'VIII secolo venne distrutta dagli arabi a seguito di una invasione. Nel XV secolo divenne un possedimento della famiglia nobile degli Amilakhvari. Kaspi ottenne ufficialmente lo status di città nel 1959. Durante il XX secolo ha conosciuto un periodo di forte modernizzazione e sviluppo, divenendo una rilevante zona industriale del paese. Nel corso della guerra russo-georgiana del 2008 la città fu colpita dai bombardamenti russi, i quali causarono danni agli impianti industriali e distrussero il ponte ferroviario cittadino.