Il s'aligne étroitement avec les Républicains radicaux et est un fervent partisan de leurs politiques extrêmes de Reconstruction. Il vote en faveur de la destitution du Président Andrew Johnson. Il est battu pour une nouvelle nomination en 1872, le climat politique ayant évolué vers plus de modération. Battu à nouveau deux ans plus tard, dans une nouvelle tentative (cette fois en tant que démocrate), il reprend la pratique du droit dans Chicago. Il déménage à Washington, DC en 1880, et continue à travailler comme avocat jusqu'à sa mort. Farnsworth est enterré dans le Cimetière Nord de Saint-Charles.