辉与曾文惠育有一子两女。唯一的儿子李宪文为记者，1982年病逝，身后留下一女李坤仪。长女李安娜，曾任东海大学企管系教授，夫婿黄循武是一位知名医师，女黄怡宁、黄怡丰，都负笈美国。次女李安妮，长期参与妇女运动，现为台湾综合研究院副院长，丈夫赖国洲在陈水扁执政时曾任台视董事长。
求学时代.由于家境不差，加上其父李金龙的重视，李登辉接受了相当完整的教育，小时候在三芝天后宫附设的私塾学习汉文，但老师其实是只是以日文发音来诵读《论语》跟《孟子》等《四书》；因为其父李金龙为刑警，职务调动