弟弟查尔斯·安德森曾任俄亥俄州州长，另一个弟弟威廉·马歇尔·安德森是西部探险家。威廉是热心的天主教徒和美利坚联盟国的支持者，曾在墨西哥皇帝马克西米利安一世统治期间短暂定居在墨西哥，以期在当地为联盟国建立殖民地。安德森的侄子托马斯·M·安德森准将曾参与过美西战争和美菲战争。安德森还是外交家拉兹·安德森的叔叔，演员蒙哥马利·克利夫特的曾祖父，探险家威廉·克拉克和准将乔治·罗杰斯·克拉克的远房表亲。