De groep werd opgericht in 1970 als kleine cel binnen Fatah. De naam is afgeleid van het Zwarte September-conflict, een conflict in de maand september van 1970 in Jordanië, waarbij Palestijnen probeerden koning Hoessein van Jordanië af te zetten. Ali Hassan Salameh (codenaam: Abu Hassan) stond aan het hoofd van de organisatie, daarbij geassisteerd door Abu Daoud. Fakhri al-Umari stond aan het hoofd van de afdelingen voor bijzondere diensten. Hij zorgde ervoor dat wapens en springstoffen tijdig op de verschillende plaatsen van handeling aanwezig waren. Eveneens tot de leiding van deze organisatie behoorden Fuad Shemali en Yussuf al-Najjar. Ghazi al-Hoesseini, broer van Faisal Hoesseini en familielid van Amin al-Hoesseini, de legendarische grootmoefti van Jeruzalem, was de technische expert en behoorde tot de commandostaf van Zwarte September.