Den ble grunnlagt mot slutten av 1100-tallet av eremitter på Karmelberget. De hadde reist en liten kirke viet til jomfru Maria, og tok navn etter kirken. Imidlertid er de historiske nedtegnelsene om dens opprinnelse usikre. Klosterregelen de tok ble skrevet omkring 1208 av den hellige Albert av Jerusalem, som var latinsk patriark av Jerusalem. Den hellige Berthold av Karmelberget har tradisjonelt vært assosiert med grunnleggelsen av orden, men få klare nedtegnelser av den tidlige karmelittiske historie har overlevd, og dette er mest sannsynlig en senere ekstrapolering av hegiografere (helgenbiografer).