Custer se casó con Elizabeth Bacon Custer (1842-1933) el 9 de febrero de 1864.