જો કે, જ્યારે માલ્કમને જાણવા મળ્યું કે એલિયા મુહમ્મદ કાળા મુસ્લિમોની ઘણી સ્ત્રીઓ સાથે બાળકોનું ભ્રષ્ટુચન કરે છે અને તેમનાં બાળકોને જન્મ આપે છે, ત્યારે તેમણે 1 964 માં આ જૂથ સાથેના જુદાં જુદાં ભાગોનો અંત આણ્યો અને છેવટે પરંપરાગત ઇસ્લામનો અનુયાયી બન્યા.