В январе 1995 года вместе с 18 сообщниками, в числе которых были Абу аль-Валид аль-Гамиди и Абу Кутейб, прибыл в Грозный. Принял активное участие в Первой чеченской войне, организовал ряд операций против российских войск. В 1995 году вместе с членами своего отряда основал военно-религиозный учебный центр «Кавказ» на окраине селения Сержень-Юрт (на территории бывшего пионерского лагеря). Всего в этом учебном центре прошли обучение около 10 тыс. боевиков. Именно Хаттаб являлся связующим звеном между боевиками в Чечне и международными террористическими структурами.