母是太常寺少卿夏昶的孙女。但归有光这一支并不显赫，祖父归绅、父亲归正均未入仕，且归有光父叔辈感情不睦，互抢祖辈家产闹翻不往来，故归有光讨厌父方归姓亲属，与祖母与母亲等女性亲属感情密切。归有光自幼聪颖，九岁能属文，十岁写《乞醯论》流传至今。师事同县名儒魏校，喜读《史记》以及唐宋八大家之文，也阅佛家《大藏经》。嘉靖四年（1525年），归有光以童子试第一名补为苏州府学生员，时年十八岁，后以贡生选入南京太学。嘉靖十九年（1540年），归有光受到主考官张治的赏识，举应天乡试第二名。以后的二十年，八次礼部会