Sin embargo, Du Bois comenzó a preocuparse con que Garvey estaba amenazando a los esfuerzos de la NAACP y atacó a Garvey clasificándolo como fraudulento y temerario.