Viene ricordato in particolare per il suo ruolo di segretario (1955-1963) e poi di direttore esecutivo (1964-1977) della National Association for the Advancement of Colored People - NAACP (Associazione nazionale per la promozione delle persone di colore). Fu uno dei sei leader, tra i quali Martin Luther King, che parteciparono alla Marcia su Washington per il lavoro e la libertà (28 agosto 1963); questi furono denominati Big Six da Malcolm X durante un intervento, tenuto a Detroit il 10 novembre 1963, molto critico rispetto alle loro posizioni nonviolente.