Baker asistió a la Universidad Shaw en Raleigh, Carolina del Norte, de donde se graduó en 1927 a la edad de 24 años.