Sin embargo Brunéi, pese a expresar inicialmente su intención de unirse a la Federación, se retiró del plan debido a la oposición de ciertos sectores de la población y por disensiones sobre el pago de regalías por la extracción petrolera y sobre el estatus del Sultanato en la Federación.