归子孝于1548年染病而亡，年仅16岁，归有光为他作了《思子亭记》以表哀思。归有光另有子归子祜、归子宁，参与整理归氏遗文。五子归子慕为万历十九年(1591年)举人，两次被逐，隐居江村，死后赠翰林待诏。孙归昌世，归庄之父，为着名篆刻家、书画家、文学家，与李流芳、王志坚合称昆山三才子。曾孙归庄，为明末书画名家，明亡后曾于昆山起兵抗清，事败隐居，拒不仕清，晚年致力整理归有光全集。
评价.王世贞最初因为文学观点与归有光相左而讨厌他，后来作了《归太仆赞》，并佩服他，认为归有光可与韩愈、欧阳修