Brisbane forlot Sydney i desember 1825 og dro hjem til Skottland der han slo seg ned og tok stor interesse i vitenskap, hans eiendom og regimentet. Han ble valgt til president av Royal Society of Edinburgh i 1832 og i 1836 ble han adlet som baronett. Samme år ble han tilbudt jobben som øverstkommanderende for styrkene i Canada og to år senere ble han tilbudt samme stillingen i India, han avslo begge.