Han deltog i 1980'erne som guerillasoldat under den afghansk-sovjetiske krig. Da krigen mod Sovjetunionen var ved at være slut, opstod der uenighed mellem de islamiske krigere om, hvilken retning man skulle gå efterfølgende. Abdullah Azzam og Osama bin Laden var enige om, at den globale kamp for islam skulle fortsætte og oprettede al-Qaeda i løbet af 1988/1989. I 1989 døde Abdullah Azzam, og Osama bin Laden bestemte sig for at videreføre arven. Han støttede blandt andet islamiske jihadister, der rejste til Bosnien for at slås mod Serbien, såvel som islamister der sloges mod russerne i Kaukasus. I 1990 tilbød han den saudi-arabiske konge at tvinge Irak ud af Kuwait ved hjælp af det netværk af soldater, han havde opbygget under krigen i Afghanistan. Ikke fordi han gerne ville føre krig mod Irak, men for at overtage amerikanernes rolle. Tilbuddet blev afvist, og han flyttede til Sudan, der som et af de få lande i området fastholdt en kritisk politik over for Saudi-Arabien og USA under krigen i Golfen.