Det har vært hevdet at fjelljødene er etterkommere fra de tapte stammer, som en kandidat blant flere, som forlot oldtidens Israel etter ødeleggelsen av det første tempelet i Jerusalem i år 587 f.Kr. Det foreligger stor usikkerhet til denne opprinnelsen. Fjelljødene har ikke bevart noen skriftlige nedtegnelser om sin ankomst og bosetning. Derimot har de gjennom generasjonene formidlet muntlig om sin herkomst tilbake til fangenskapet i Babylon. Jødisk tilstedeværelse i Kaukasus er indikert i gamle levninger av murer, jødiske gravsteder, og i mange av landsbyene i fjellene også epigrafiske inskripsjoner, fragmenter av hellige jødiske bøker, talismaner og annet.