Brisbane ble født i Ayrshire i Skottland og var sønn av Thomas Brisbane og Eleanora Brisbane. Han studerte astronomi og matematikk ved University of Edinburgh før han ble offiser i British Army i 1789 og tjenestegjorde i Flandern, Vestindia, Spania og Nord-Amerika. Han tjenestegjorde under Hertugen av Wellington og ble i 1813 forfremmet til general-major og var del av den spanske selvstendighetskrigen i 1814 blant annet kommanderte han en brigade under slaget ved Vitoria. Han ledet også en brigade ved Plattsburgh under 1812-krigen mot USA.