Black begynte sin karriere med offentlig skolegang før han så studerte rettsvitenskap hos den respekterte advokaten Chauncey Forward (bror av Walter Forward) i det vestlige Pennsylvania. Han fikk sitt advokatløyve i 1830 og overtok advokatkontoret midlertidig etter Forward, som på sin side gikk inn i en periode i kongressen. Som standhaftig demokrat og støttespiller av Andrew Jackson kom Black tidlig i kontakt med James Buchanan i begynnelsen av hans politiske karriere, noe som senere skulle gi han verv i Buchanans regjering.