V letech 2004 až 2006 se organizace nazývala zkráceně „Bilád ar-Ráfidín“, ale známa byla spíše pod názvem „Al-Káida v Iráku“. Jejím vůdcem byl známý terorista Abú Musab az-Zarkáví, který v 80. letech bojoval proti Sovětům v Afghánistánu, a který měl na svědomí stětí amerického rukojmí Nicka Berga a mnoho teroristických útoků proti iráckým a americkým cílům během války v Iráku.