Det er antatt at kaukasiske fjelljøder og en iranskspråklig folkegruppe kalt for blant annet kaukasiske persere («tat») har befolket Kaukasus i mange århundrer. Deres fjerne forfedre levde en gang i sørvestlige Persia, den sørvestlige delen av dagens Iran. Der tilpasset de seg mellompersisk språk til sin muslimske naboer, men beholdt selv sine jødiske tradisjoner. Språket utviklet seg til en særskilt jødisk dialekt kalt for eller . Forgjengerne til kaukasiske fjelljøder hadde bosatt seg i den historiske regionen Albania i Kaukasus i dagens Aserbajdsjan på 400- og 500-tallet e.Kr. Det såkalte Khazar-kaganatet tok formelt jødedommen som statsreligion og hersket i sentrale Kaukasus i det 7-10. århundre. Gjennom hundrer av år stod dette riket imot både muslimske erobrere fra sør og slaviske fra nord, inntil kaganatet gikk i oppløsning i høymiddelalderen. Før år 1000 rykket muslimske styrker fra sør fram til den russiske grensen i nord, og herskende khzarer flyktet i stort antall til Krim og Donau. Mange av de lokale jødene flyktet derimot opp i fjellene i dagens Dagestan. Fra seinmiddelalderen lå de ofte under for lokale føydalherrer som mer eller mindre ufrie eller hardt beskattede bønder.