Hijo de Louise Norton, y de Earl Little, laico bautista seguidor de Marcus Garvey y líder local de la Asociación Universal de Desarrollo Negro y la Liga de Comunidades Africanas (UNIA, por sus siglas en inglés).