I eldre tid ble byen kalt Ujjayini. Som nevnt i eposet var Ujjayini hovedstaden i Avanti-riket, og byen har vært et viktig pilegrimssted for hinduistiske geografer siden 300-tallet f.Kr. Ujjain er en av hinduenes hellige byer, og den religiøse festivalen Kumbh Mela avholdes her hvert 12. år. Ujjain er også hjemmet til Mahakaleshwar Jyotirlinga, en av de tolv Jyotirlinga-helligdommene til guden Shiva, og stedet hvor guden Krishna tok utdanning med Balarama og Sudama fra Maharshi Sandipani.