被刘表任命为江夏太守黄祖从事。当时沙羡县长贪污腐败，被潘濬审查处死，全郡惊恐。后担任湘乡县令，治理颇有名声。208年赤壁之战后，刘备统治荆州，任命潘濬为治中从事。211年去入蜀后又将潘濬留下管理荆州事务。潘濬与关羽不睦。建安二十四年（219年），孙权派军袭杀关羽，佔荆州，将官全都归附，潘濬却称疾不见。孙权亲自登门拜访，潘濬涕泪交横，伏床不起，孙权以观丁父、彭仲爽等俘虏出身的楚地先贤为例安慰潘濬，又派人以手巾帮他擦脸，潘濬才下地拜谢，并将荆州军事部署详细告诉孙权，被拜为辅军中郎将，之后又升迁至奋威将军