三姊是严倬云，而三姊夫是鹿港辜家的辜振甫。华严的外祖父是台湾板桥林家林维让的儿子林尔康，外祖母陈芷芳是清朝进士、溥仪老师陈宝琛的妹妹。母亲是林慕兰。她也是台湾乡土历史学家林衡道的表妹、华南金控董事长林明成的表姐。
家庭.夫叶明勋是中央通讯社第一位台湾特派员，为台湾新闻界大老。两人于1949年结婚。婚后育有三女文心、文可、文兹和儿子文立。长女叶文心是美国加州大学柏克莱分校教授，该校东亚研究所所长。儿子叶文立曾任联太国际公司总经理、联广公司总经理、和信国际传播公司总经理、凯络媒体服