I tiden som guvernør opplevde Brisbane flere større samarbeidsproblemer med resten av koloniadministrasjonen. Dette gjorde at han ble avsatt i 1825.