Abdul Rauf wurde in Kuwait als Sohn eines ägyptischen Islam-Gelehrten geboren, der verschiedene Lehr- und Verwaltungsposten an Universitäten und islamischen Institutionen rund um die Welt bekleidete. Abdul Raufs fromme Erziehung, seine Reisen und frühe Einführung in theologische Debatten haben seine späteren Ansichten zum Islam und religiösen Pluralismus geprägt. Nach Aufenthalten im Vereinigten Königreich, in Ägypten und Malaysia zog Abdul Rauf 1965 mit seiner Familie nach New York City. 1969 schloss er sein Physik-Studium an der Columbia University mit einem Bachelor ab und absolvierte 1972 sein Master in Plasmaphysik am Stevens Institute of Technology in Hoboken, New Jersey. 1983 wurde er Imam an der Masjid Al-Farah, einer progressiven Sufi-Moschee in Manhattan. In der Hoffnung, den interreligiösen Dialog zwischen dem Islam und den USA zu fördern, gründete er 1997 die "American Society for Muslim Advancement". Nach den Anschlägen des 11. Septembers 2001 schrieb Abdul Rauf ein Buch über das Verhältnis zwischen dem Islam und dem Westen, gab kulturelle Lehrgänge beim FBI und unternahm im Auftrag des US-Außenministeriums Vortragsreisen durch den Nahen Osten.