也知道其他的大人是怎么看他的。父亲注意到他的记性特别好，还偷偷测试了他的记忆力，结果被张益唐一字不差的故事复述能力震惊到了，还告诉张益唐的外婆说：“这个小孩将来不得了，是不是能够培养下？！”1968年，父母将13岁的他接回北京。不过，在当时文革期间的反智热潮下，张益唐的好学精神与时代格格不入；他本人也没能找到机会看看高等数学书籍到底是长什么样的。张益唐在清华附中读了1年多初中，他的好记性让语文老师对他印象十分深刻。初中在读期间，他的父母先后被下放到农村。不久后，他随母亲前往江西，从事体力劳动。他的数学学