迁为豫章西安长。当时刘表管理荆州，百姓数次被贼人侵犯，但当潘璋在郡任事，贼人都不敢入境。后建昌县为贼扰乱，潘璋转领建昌，加武勐校尉，管治不善的人，一个月已平定所有乱事，聚起散民，得到八百人，率他们回建业。 建安二十年（215年），孙权攻打荆南，吕蒙率领孙皎、潘璋与鲁肃合兵并进，于益阳与关羽对峙。最后刘备将荆州与孙权平分才平息事件。同年，孙权进攻合肥，张辽、李典突击军营，众将没有防备，陈武战死，宋谦、徐盛都不敌逃走，潘璋在后，驰马追上，在马上斩杀宋谦、徐盛军中的二个逃兵，士兵见此，都回头再战。虽然最后都要撤