Il fratello di Anderson, Charles Anderson, fu Governatore dell'Ohio dal 1865 al 1866. Un altro fratello, il Rev. William C. Anderson, servì come Rettore della Miami University nel periodo 1849–1854. Il loro nipote, Thomas M. Anderson, fu un Brigadier generale e combatté nella Guerra ispano-americana e nella Guerra filippino-americana.