Kuten radikaalien liikkeiden kohdalla usein, suosio osoittautui lyhytaikaiseksi. Sekä Malcolm X että Elijah Muhammadin poika Wallace olisivat halunneet viedä Nation of Islamia valtavirran sunnalaisuuden suuntaan. Muhammad ja Malcolm X etääntyivät toisistaan myös henkilökohtaisten erimielisyyksien vuoksi. Vuonna 1963 Muhammad paheksui julkisesti Malcolm X:n suhtautumista John. F. Kennedyn salamurhaan — Malcolm X:n mukaan Kennedy oli ollut pelkkä ”kana, joka tepasteli kotiorrelleen”. Muhammad ei myöskään ollut kiinnostunut toimimaan kansalaisoikeusliikkeen piirissä, ja hänen aviottomat suhteensa sekä niistä syntyneet lapset herättivät pahennusta. Kielteisen julkisuuden lisääntyessä valtavirran muslimit alkoivat korostaa, ettei Nation of Islam edustanut perinteistä islamia. Vuonna 1964 Malcolm X erosi Nation of Islamista ja perusti oman The Muslim Mosque -järjestön, joka oli vähemmän radikaali ja vähemmän väkivaltainen. Mustan ylivallan sijaan se kannatti kaikkien ihmisrotujen tasavertaisuutta. Joukko Nation of Islamin jäseniä murhasi Malcolm X:n vuonna 1965, minkä jälkeen monet hänen kannattajansa palasivat takaisin Nation of Islamiin.