Свой первый альбом Сами Юсуф выпустил в 2003 году и стал называться "Al-Mu’allim", после чего Сами Юсуф быстро приобрел популярность. Альбом стал особенно популярным в странах Северной Африки и Ближнего Востока. Следующим альбомом стал "My Ummah", вышедший в 2005 году. Альбом включал в себя песню о Бесланских событиях, а так же песню о праве мусульманских женщин носить хиджаб, который Франция пыталась запретить наряду с другими религиозными символами в 2004 году.