着某种浪漫的想像，这些土着被视为无辜的原始人，他们不应因为其传统生活方式而受到惩罚，因此詹姆斯·布鲁克失去了英国皇家海军的任何支持。
第二次世界大战时期.1941年日本入侵婆罗洲后，砂拉越白人拉贾时代结束，当时有个单位被称为「砂拉越游击队」，大多是由伊班族所组成的一个军事单位，为婆罗洲国防力量的一部分，他们的人数约400到1515人之间不等，该单位在1941年12月26日遭到遣散。查尔斯·维纳布鲁克是第三个也是最后一个白人拉贾，不得不逃到澳大利亚流亡。在1942年到1945年日本佔