北婆罗洲（今沙巴）的山打根是日本移民的热门目的地。山打根的日本人墓地是现时少数保留的日裔遗址。1941年12月，日本佔领马来亚，很多日军和日本公司僱员因而移居马来亚。日本投降后，日本人大多遣返回国，其中6,000名日本人经新加坡裕廊中转营回国。第二次世界大战末期至战后，有200至400名残留日本兵加入马来亚人民抗日军，以图阻止英国重新控制马来亚。这批参与马来亚人民抗日军的残留日本兵中，最多人驻扎在霹雳江沙，这批残留日本兵其后由马来亚共产党领导人莱特下令处决，而其他残留日本兵则加入了马共，并隐藏留在丛林。