1年911事件后，美国进攻阿富汗，扎卡维逃往伊朗。2002年躲藏在伊拉克东北部山区，并曾在巴格达的一家医院治伤。2002年2月他领导的“统一圣战”组织发动了以色列境内的恐怖袭击，并于同年10月刺杀一名美国驻约旦高级外交官。2003年2月5日美国国务卿科林·鲍威尔在联合国安理会宣称有证据证明扎卡维是本·拉登的“合作者和同伙”，同时他曾在伊拉克国立医院治伤，进而推断他是基地组织和萨达姆政权的联络人，此后扎卡维名声大噪。3月20日美国发动伊战，扎卡维至少2次亲自砍下美国人质的头颅，他的统一圣战组织也绑架了不少