Gruppen ble grunnlagt høsten 1995 i Libya. De fleste av de første medlemmene hadde slåss mot de sovjetiske styrkene i Afghanistan. Formålet til gruppen er å etablere en islamsk stat i Libya som skal styrte dagens regime som ifølge gruppen er undertrykkende, korrupte og anti-muslimske. Gruppen påtok seg ansvaret for et mislykket attentat mot Gadaffi i februar 1996, som ble delvis finansiert av det britiske Secret Intelligence Service.