El grupo fue establecido bajo el nombre de Batallón Muyahidín en verano de 2012, y fue liderado por un miembro de la subetnia kist llamado Abu Omar al-Shishani ("Padre de Omar el Checheno), un combatiente islamista de la Garganta de Pankisi, Georgia, quién había luchado en contra de Rusia en la Segunda Guerra Chechena y en la Guerra de Osetia del Sur de 2008. Mientras otros grupos yihadistas sirios como Ahrar al-Sham y Jabhat Fateh al-Sham incluían a yihadistas extranjeros que habían viajado a Siria para combatir junto con los rebeldes, el JMO estaba conformado en gran parte por combatientes no sirios al momento de su fundación. Su membresía estaba compuesto principalmente de árabes provenientes de Siria, Arabia Saudita y Libia.