En 1864 nació otro hijo, Chester Alan Arthur II, y en 1871 una hija, denominada Ellen Hansbrough Herndon en honor a su madre.