Двусторонние связи между двумя странами зародились в 1920 году, когда Япония взяла под свой контроль островные колонии немецкой колониальной империи в Тихом океане, в которую входили современная Микронезия, Маршалловы острова, Северные Марианские острова и Палау. Острова стали частью Южного Тихоокеанского мандата в рамках Лиги Наций, а штат Корор был назначен административным центром мандата. Под властью Японии на Палау значительно выросли рыболовство, сельское хозяйство и горнодобывающая промышленность. За этот период Республика Палау до некоторой степени достигла самодостаточности. Она также являлась японской военной базой во время Второй мировой войны. Японское управление островами прекратилось после поражения Японии во Второй мировой войне. Мандат Южных морей стал подопечной территорией Тихоокеанских островов и находился под управлением США.