亲潘柏榆（1932年-2012年12月25日）彰化高工毕，曾于台电工作。以81岁之龄病逝。母亲张碧霜（1936年-2010年1月3日）曾任职于农田水利会。潘建志为长子，其姐为台北市仁康医院护理长。潘有两段婚姻，育有1子。潘曾自爆自己是独派但前妻欣赏马英九，且生日与马同一天，因此政治立场时有磨擦。
生平一览.
2020年立委选举.2019年11月20日，潘建志列为台联不分区立委参选名单。台联在2020年立法委员选举中，只提名不分区立委候选人，票只得5万多票，