王粲与司马芝说刘表不是能称霸天下的人，但却据地安守，很快会失败。于是又离开荆州到长沙郡。建安十三年（208年），曹操佔领荆州，并征命裴潜，先任丞相参军事，后又先后出任三县县令和仓曹属。建安二十年（210年），当时北方仍然未安定，乌丸王和两名大人都自称单于，专制郡事；代郡大乱，前任太守不能制约，曹操于是调裴潜任代郡太守，并打算给裴潜精兵去讨平镇压他们。但裴潜认为这只是他们心中不安的反应，若果大军临境，他们一定会因惧怕而反叛抵抗；于是打算用计降服他们。裴潜于是只带很少人到郡，单于都感到惊喜，裴潜于是安抚他们