Fra 1862 trakk han seg tilbake fra offentlige verv og returnerte til sin private advokatpraksis, hvor han for øvrig også virket i de viktige høyesterettssakene Ex parte Milligan og Ex parte McCardle. Etter den amerikanske borgerkrigens slutt gikk han sterkt imot kongressens plan for gjenoppbygning, og utarbeidet president Andrew Johnsons budskap om å vedlegge veto mot den såkalte den 2. mars 1867. Black var også rådgiver i en kortere periode for Andrew Johnson i riksrettssaken mot ham i 1868, og det samme for den tidligere krigsministeren William W. Belknap da sistnevnte ble stilt til riksrett anklaget for korrupsjon i 1876. Black gikk for øvrig aktivt ut og støttet kandidaturet til Samuel J. Tilden under det omdiskuterte presidentvalget i 1876. Jeremiah S. Black døde den 19. august 1883 i York i Pennsylvania i en alder av 73 år.