A mai Gramsh vidékén a 7–8. században szláv törzsek telepedtek le, a helynévanyag mellett erről tanúskodnak a környék ásatásairól előkerült leletek is. Első említése 1610-ből ismert "Gramsi" alakban. A 20. század közepéig falusias jellegű település volt. Az első világháborúban 1916 nyarától osztrák–magyar, majd 1918 júliusától francia megszállás alatt állt. A második világháború során, 1942/1943 telén – Korça és Vlora körzete mellett – Gramsh környékén bontakoztak ki a kommunista partizánok első szervezett fegyveres akciói az országot megszálló olaszok ellen.