Black fikk etterhvert dårlig helse og trakk seg mer tilbake i de siste årene av sitt liv. Han giftet seg aldri, men pleiet omgang i stedet med senere berømtheter som filosofene David Hume og Adam Smith samt geologen James Hutton. Han døde i 1799 og ble begravet på Greyfriars Kirkyard i Edinburgh.