Abu Sayyaf perustettiin Basilanin saarella Filippiineillä vuonna 1991 johtajanaan Abdurajak Janjalani. Järjestö tunnettiin alun perin nimellä Harakat-ul al Islamiya, ja sen tarkoituksena oli hävittää kristinuskon vaikutus pääosin muslimien asuttamalta Etelä-Filippiineiltä sekä islamilaisen valtion perustaminen Mindanaolle. Janjalani pyrki myös luomaan yhteyksiä Filippiinien ulkopuolella toimiviin järjestöihin ja osallistumaan näiden hankkeisiin. Järjestön soluja paljastui niin sanotun Bonjinkan operaation paljastutta viranomaisille. Suunnitelmiin kuului muun muassa paavi Johannes Paavali II:n ja Yhdysvaltain presidentti Bill Clintonin murhat, Yhdysvaltojen lähetystöjen pommittaminen Manilassa ja Bangkokissa sekä lentoliikenteessä tehtävät iskut. Koko suunnitelman taustalla oli World Trade Centerin pommi-iskun vuonna 1993 suunnitellut Ramzi Yousef. Suunnitelmat menivät pieleen, kun Yousefin vuokraamassa asunnossa Manilassa syttyi tulipalo pommintekovälineiden aiheuttamana.