Han var medlem av Representantenes hus fra delstaten Georgia mellom 1873 og 1877, var president i Augusta Orphan Asylum fra 1879 til 1886, og han var medlem av byrådet i byen Augusta og han ble senere denne byens advokat. James Black ble valgt inn som demokrat til Representantenes hus i USA i 1892 og han hadde denne stillingen frem til 1895. Han ble senere valgt tilbake til Representantenes hus i 1895 for å fylle opp en ledig stilling, som han hadde frem til 1897. Etterpå fortsatte han å praktisere loven i Augusta, Georgia frem til han døde der den 1. oktober 1928. Han ble gravlagt i Magnolia Cemetery i Augusta.