当作犹太人的亲戚，以上都是敌视他们的罪名。从此，罗姆人就不断地从一地迁往另一地，栖息的地方总是在隐蔽的荒乡僻野。罗姆人长途迁徙的缘故至今尚为史界之谜。罗姆人的祖先是低种姓的印度教徒，应征入雇佣兵军队后，升为剎帝利（即战士）种姓，同时被派往西面以抵制伊斯兰教国家的扩张。另有学者称，穆斯林征服印度北部后，其俘虏沦为奴隶并发展出自身独特的文化，成为罗姆人的前身。但罗姆人到达中东后，为何不折返印度，反而继续前进，进入欧洲，则是不解之谜。罗姆人后来也大量迁入美洲。罗姆人也曾出现在中国，名为啰哩回回，经常盗窃，