1992年被任命为中华民国妇女联合会总干事，他们育有两子三女。长女辜怀群 适胡其龙；次女辜怀箴适华夏海湾塑胶公司创办人赵廷箴之子赵元修；长子辜启允在2001年去世，妻谢载庆；次子辜成允为实质接班人，妻侯天仪，育有一子一女，在2017年去世；幼女辜怀如适嘉新水泥创办人张敏钰之子张安平。
邓香妹诈欺案.辜振甫死后爆发外遇疑云。女子邓香妹，宣称与辜振甫外遇，生下女儿张怡华，并以此勒索辜振甫，时间长达11年。2005年，辜振甫死后，其家庭控告邓香妹诈欺与恐吓取财，经法院强制DNA检验，确认