浙江省嘉兴县名门。结婚五十年。有子女四人，儿子潘敏行、潘敏德、潘敏学、女儿潘敏玉。
获褒扬令.2010年12月8日，马英九总统明令褒扬潘振球，总统褒扬令全文为：
批评.潘振球担任成功高中校长任内发生学生魏廷朝不愿配合其推动的救国团政策而被校方开除之事。