Black var født i Bordeaux hvor faren var drev med vinhandel. Faren var fra Belfast, og dit ble Joseph sent til skole i 1740. Han fortsatte med studier i medisin ved Universitetet i Glasgow fra 1746 hvor han raskt utmerket seg. I studietiden konstruerte han en mer nøyaktig skålvekt som skulle bli et viktig verktøy i kvantitativ kjemi. I 1752 begynte han ved Universitetet i Edinburgh hvor han gjorde ferdig sin avhandling om kjemiske reaksjoner. Det var i denne forbindelse han oppdaget kulldioksid.