徽宗以潘正夫为左卫将军、驸马都尉，娶宋哲宗之女秦国康懿长公主。靖康之乱汴京沦陷，潘正夫一家暂时避居婺州。绍兴七年（1137年）公主为潘正夫求官，说他历事四朝皇帝（宋哲宗、宋徽宗、宋钦宗、宋高宗），请授他开府仪同三司。宋高宗不许。赵鼎为相，正反对群臣恢复王安石新法，对拥护新法的潘正夫有看法。赵鼎下台后，潘正夫才被授予开府仪同三司。潘正夫官至少傅，封和国公；绍兴二十二年（1153年）七月。潘正夫去世，赠太傅。其子潘温卿为宁国军承宣使，潘长卿宁江军承宣使，潘端卿昭信军承宣使，潘清卿容州观察使，潘墨卿、潘才卿并带团