Nell'estate del 1963, Malcolm constatò che Elijah e molti altri Ministri di alto livello della NOI erano gelosi della sua popolarità. Progressivamente in conflitto con l'organizzazione, espresse la propria critica circa la marcia su Washington, ribattezzandola la "buffonata di Washington" e dicendo che non trovava nulla di eccitante in una dimostrazione "fatta da bianchi davanti alla statua di un presidente morto da cento anni e al quale, quando era vivo, noi non piacevamo".