La disminución del Imperio de Brunéi culminó en el siglo XIX, cuando Brunéi perdió gran parte de su territorio en las manos de los Rajás Blancos de Sarawak, resultando en su pequeño territorio actual y su separación en dos partes.