后，怀斯和布鲁克就因为经济政策和锑矿特许开採权的问题，产生矛盾并断绝合作关系。1868年詹姆斯·布鲁克的继任者为他的侄子查尔斯·布鲁克，而查尔斯·布鲁克的儿子查尔斯·维纳布鲁克从1917年到1946年再次领导了砂拉越。随着时间的推移，前两名布鲁克斯设法从苏丹获得更多的土地定将其吞併，于是砂拉越最终达到目前的规模。伊班族的海盗行为和其部族间的战争，对当时的苏丹并无产生太大的影响，然而詹姆斯·布鲁克认为这对他帝国的经济是一种危险，因为它威慑了外国商船并威胁了钖矿和种植园的工人，因此他禁止猎头并惩罚那些违反命