Man tror at cochin-jødene først bodde i Kudungallur. I 379 fikk en cochin-jøde ved navn Josef Rabban styremakten over landsbyen Anjuvannam, nær dagens Cochin, av kongen Parakaran Iravi Vanmar. Under Josef Rabbans styre ble Anjuvannam et selvstendig jødisk fyrstedømme, og man tror at de fleste cochin-jødene flyttet dit. Staten ble svært rik og mektig, og ble derfor angrepet av araberne i 1524. Jødene ble overvunnet og flyktet fra Anjuvannam til Cochin, der kongen ga dem land og penger for å bygge en ny landsby. De etablerte seg selv igjen som handelsmenn i Cochin, spesielt i internasjonal pepperhandel.