主家庭，李登辉说，「我太太她们家的土地是当时淡水郡内最多的，是有三千石粟仔（稻谷）的地主，有几百甲的土地。」，祖父曾石岳生于1859年，在日治初期曾任三芝区长（1896年至1897年），大正六年（1917年）迎接旧台北大天后宫官祀妈祖神像，建三芝福成宫，大正九年（1920年）地方改制后出任三芝庄协议会员。大正十三年（1924年）出任三芝庄长，同时出任淡水副业利用贩卖组合监事。曾石岳与李登辉祖父李财生是世交。曾石岳文学造诣较浅，需仰赖李登辉祖父李财生的文笔，两家故有世交，仕绅李家的次男，娶有钱的曾家次女，也成