岁时，他的父亲就被发配，到30岁时父亲才得到平反青少年时期时就读于男校。在15岁后的20年内，由于文革开始，所以潘绥铭的居所总是不能固定，平均每3年便换一次住所。在期间做过红卫兵、农场工人、机关职员等工作。1973年，潘绥铭离开了黑龙江省，回到了内蒙古自治区。1981年他在自己的女儿8个月大时，考上了东北师范大学的研究生，以中世纪史为研究重点，并最终获得硕士学位。
教学生涯.他在研究历史时，接触了一堆有关原始性文化的书籍，使其震惊，并开始对性学产生兴趣。后来又接触关于中国古代房