К 1988 году Усама покинул «Мактаб аль-Хидамат», желая играть большую военную роль. Он считал, что арабы в составе афганского сопротивления должны быть отдельной силой, в то время как Аззам был сторонником их слияния с моджахедами. К тому времени «Аль-Каида» имела больше формальный характер. От её членов требовались умение слушать, хорошие манеры, послушание и готовность дать клятву пойти за старшими. Тогда существование группировки держалось в строгом секрете. Датой её создания называется 11 августа 1988 года, когда на встрече между руководством «Египетского исламского джихада», Аззамом и Усамой бен Ладеном было принято решение объединить средства последнего и опыт первого и распространять джихад и далее после вывода советских войск из Афганистана. В конце 1989 года Усама вернулся на родину и был встречен как герой, который со своим Арабским легионом «повалил могучую сверхдержаву». Он был недоволен кровопролитной войной между афганскими племенами.