De benaming van de plaats stamt uit het Gallisch en betekent 'nabij de rivier'. De ontwikkeling van Prémery als stad nam een aanvang in het begin van de 9e eeuw. In 802 schonk Keizer Karel de Grote de gebieden rond Prémery, Parzy en Urzy aan de Bisschoppen van Nevers, hetgeen als 3 kastelen tot uiting komt in het stadswapen. Een "capitulum" van Keizer Karel III in 882 bevestigde hen het bezit van Prémery. Later werd de stad tot bisschoppelijke zomerresidentie. In 1173 kreeg Bisschop Bernard de Saint Saulge toestemming voor de bouw van stadsmuren en fortificaties, waarvan het kasteel rond 1316 werd uitgebouwd en versterkt. Na de Slag bij Poitiers in 1356 werd het kasteel bezet door Engelse troepen die pas in 1364 weer vertrokken. Daarna liet Bisschop Pierre de Fontenay het kasteel, de stadsmuren en de omringende grachten weer herstellen, werkzaamheden die in 1494 met de constructie van twee versterkte stadspoorten werden afgerond. Uiteindelijk werd het kasteel rond 1680 door de bisschoppen verlaten ten gunste van een nieuwer kasteel in Urzy dat bovendien dichter bij Nevers lag. Ze wisten echter tot aan de Franse Revolutie aan hun bezit in Prémery vast te houden.