Bei den Kongresswahlen des Jahres 1858 wurde Ely im 29. Wahlbezirk von New York in das US-Repräsentantenhaus in Washington, D.C. gewählt, wo er am 4. März 1859 die Nachfolge von Samuel G. Andrews antrat. Nach einer Wiederwahl konnte er bis zum 3. März 1863 zwei Legislaturperioden im Kongress absolvieren. Diese waren bis 1861 von den Ereignissen unmittelbar vor dem Bürgerkrieg und ab 1861 vom Krieg selbst geprägt. Ab 1861 war Ely Vorsitzender des "Committee on Invalid Pensions". Im Juli 1861 beobachtete er die Erste Schlacht am Bull Run. Dabei wurde er von Soldaten der Konföderation gefangen genommen. Er verbrachte sechs Monate im berüchtigten Libby-Gefängnis in Richmond, ehe er im Dezember 1861 bei einem Gefangenenaustausch freigelassen wurde.