正出身仕宦之家。祖潘居常，北周楚州刺史。父潘寞，隋通州刺史。他自幼熟读六经，年十二，通《春秋》及《礼》并得母鲁氏口授《道德经》。十三岁丧母，结庐于墓侧，以至孝闻名于世。隋炀帝大业年间，道士刘爱道将他推荐给茅山王远知为弟子，于是度为道士，授三洞隐诀真文。唐太宗贞观中，侍从王远知回茅山，渡扬子江，饮秽水，痢下如凝脂。遂梦见一人，衣冠皓鲜，乘空而下，授白药一粒，饮之，及寤而愈。既至，远知谓曰：“吾虽欲留汝于此，而嵩阳乃汝修真之地，当亟还也。”于是，潘师正与刘道合隐居在中岳嵩山，先在双泉顶住了差不多十年，后移居逍遥