Pottensteins historie kan spores tilbake til år 918, men den fikk bystatus først i 1323. Byen hørte inn under Bamberg i lang tid. Under en stor bybrann i 1736 ble 60 hus ødelagt og kirken ble også skadet. Pottenstein ble en del av Bayern i 1803.