Kermān ble grunnlagt under navnet Behdesīr i det 3. århundret e.Kr. av Ardashir I, grunnleggeren av det sasanidiske imperiet. Etter slaget ved Nahāvand i 642 kom byen under det arabiske Rashidun-kalifatets styre og ble gradvis mer sunni-muslimsk. Byens fjerntliggende posisjon lot zoroastrianere og kharijittene (retning innen islam) leve i fred, men i 698 ble kharijittene kastet ut og majoriteten av innbyggerne bekjente seg til islam innen 725.