Organisasjonen har sine røtter i en radikal bevegelse som ble grunnlagt i Indonesia i 1940 men JI ble formelt stiftet 1. januar 1993 av Abu Bakar Bashir og Abdullah Sungkar som mest sannsynlig gjemmer seg i Malaysia på grunn av frykt for å bli arrestert. Jemaah Islamiah er kjent for å ha drept hundrevis av sivile i bilbombe-angrepene på Bali den 12. oktober 2002.