Holder nació en 1951 en el distrito de Bronx, Nueva York hijo de un matrimonio inmigrante de las Barbados.