2001'de Afganistan'a dönerek el-Kaide'de üst düzeyde faaliyetlerde bulunmaya başladı. Irak ve İran'daki örgüt bağlantılarını sağlayan kişi olmasının yanı sıra Cezayirli terörizm analizcilerine göre Cezayir'e giderek buradaki el-Kaide varlığını yükseltmeye çalıştı. 2005 sonbaharında Amerika Birleşik Devletleri Dışişleri Bakanlığı'nın yürüttüğü Adalet için Ödül programı kapsamında kendisinin yakalanması veya öldürülmesiyle sonuçlanacak bilgi paylaşımı yapan kişiye $1 milyon vadedildi. 9 Ekim 2010'da Deutsche Presse-Agentur'a konuşan Pakistanlı bir istihbarat yetkilisi, 7 Ekim günü Pakistan'ın Kuzey Veziristan bölgesinde insansız hava araçlarıyla gerçekleştirilen hava saldırısında Atiye Abdurrahman'ın öldürüldüğünü belirtse de bu ifade Amerikalı yetkililerce doğrulanmadı. Usame bin Ladin'in 2 Mayıs 2011'de öldürülmesi sonrasında Eymen ez-Zevahiri'nin el-Kaide lideri olmasıyla birlikte örgütün ikinci adamı olarak tanımlanan Atiye Abdurrahman, Pakistanlı ve Amerikalı yetkililerin 27 Ağustos 2011'de yaptığı açıklamaya göre, 22 Ağustos 2011 günü Kuzey Veziristan'daki Maçi Hel köyüne insansız hava araçlarıyla gerçekleştirilen hava saldırısında öldürüldü. 1 Aralık 2011'de yayınlanan ve ez-Zevahiri'nin konuşmasını içeren videoda kendisinin ölümü doğrulandı.