Vše začalo věkem zámořských objevů, kdy Japonsko, do té doby zcela neznámá krajina, byla postupně objevována portugalskými a nizozemskými obchodníky. První zmínka o židovském usedlíkovi nicméně pochází až z roku 1853, kdy skupina Židů vytvořila v Jokohamě komunitu čítající asi 50 rodin z různých koutů světa. Zde také vznikla první synagoga v Japonsku. Po velkém zemětřesení v Kantó se v roce 1923 mnozí přestěhovali do Kóbe.