芝后以闽南语为母语，成为福佬客家人。李登辉家庭富裕，祖父李财生开杂货店，为当地有名的仕绅，也是保正（今里长），勤俭治家，对儿孙管教甚严；祖母名叫杨妹，与李登辉感情甚好。父亲李金龙日治时期担任便衣警察，为人豪迈，以民主方式对待晚辈，喜欢应酬、饮酒，台湾战后时期也担任过两届台北县议员。母亲名为江锦，身高170公分，脸型有点戽斗。1940年台湾总督府开始推行皇民化运动，其中包括变更姓名的改姓名运动。因兄长李登钦的要求，李家全家改用日本姓名，李金龙改称「岩里龙男」，李登钦改称「岩里武则」，李登辉改称「岩里政