安德森的母亲是美国首席大法官约翰·马歇尔的表妹。安德森的弟弟查尔斯·安德森曾任俄亥俄州州长，另一个弟弟威廉·马歇尔·安德森是西部探险家。威廉是热心的天主教徒和美利坚联盟国的支持者，曾在墨西哥皇帝马克西米利安一世统治期间短暂定居在墨西哥，以期在当地为联盟国建立殖民地。安德森的侄子托马斯·M·安德森准将曾参与过美西战争和美菲战争。