Black ble født i Leominster, Massachusetts i 1898. Han studerte ved Worcester Polytechnic Institute (WPI) hvor han tok sin første grad. Senere tok han en høyere grad innenfor elektroteknikk i 1921. Deretter fikk han en stilling ved Western Electric, som var produksjonsavdelingen ved American Telephone and Telegraph (AT&T). Senere i 1925 fikk han en stilling ved Bell Labs. Han var ansatt der helt til han gikk av for pensjon i 1963.