日本人与马来亚人的接触亦开始减少，只有琉球群岛商人仍然继续与马六甲人接触。1911年人口普查时，有2,029名日本人在马来亚居住，其中五分之四为女性。但另有史料指出居于马来亚的日本人达四千人。北婆罗洲（今沙巴）的山打根是日本移民的热门目的地。山打根的日本人墓地是现时少数保留的日裔遗址。1941年12月，日本佔领马来亚，很多日军和日本公司僱员因而移居马来亚。日本投降后，日本人大多遣返回国，其中6,000名日本人经新加坡裕廊中转营回国。第二次世界大战末期至战后，有200至400名残留日本兵加入马来亚人民抗日