进士郭沛霖女儿郭筠为妻；郭沛霖任职于江苏淮扬道道台，被太平军杀害，家属託曾国藩照护，因此成亲；育有四子一女。由于平时勤奋用心过度，纪鸿本人33岁便去世了，夫人郭氏才34岁，长子广钧才15岁，其他子女都在幼年，全赖郭氏一手将子女培养成人。因曾国藩长子曾纪泽虽生了三个儿子，但其中两个早夭，只有广銮长大成人，后来继承了祖父传下长的侯爵。但广銮无儿子，过继纪鸿四子广铨的儿子昭揆为嗣，所以曾家一脉实由曾纪鸿继承。