两家故有世交，李家次男娶有钱的曾家次女，也成为当地津津乐道的事。李登辉少年时笃信佛教，研修禅宗、净土宗，也参拜台湾民间信仰的神祇，尤其淡水郡流行的妈祖、清水祖师信仰，在青年时期接触唯物论后转变为无神论者，后来因妻子曾文惠的介绍，开始研究基督教，成为慕道友，经过研读五年《圣经》之后，决定信仰基督新教，1961年受洗。李登辉与曾文惠育有一子两女。唯一的儿子李宪文为记者，1982年病逝，身后留下一女李坤仪。长女李安娜，曾任东海大学企管系教授，夫婿黄循武是一位知名医师，女黄怡宁、黄怡丰，都负笈美国。