Etter å ha flyttet til nordstatene i 1923 kom han i kontakt med Nation of Islam (NOI) i 1931 og ble snart en helhjertet tilhenger av W.F. Muhammad og konverterte til islam. Etter Elijah Muhammads død i 1975 har NOI delvis skiftet karakter. Hans sønn, som etterfulgte ham som leder, utviklet organisasjonen i moderat retning og ga den navnet American Society of Muslims. Louis Farrakhan distanserte seg fra denne utviklingen og tok etterhvert i bruk navnet «Nation of Islam» om sin virksomhet.