Foveaux ble utnevnt til fenrik i det australske 60. regiment, og deretter sluttet han seg til New South Wales Corps i juni 1789 med graden løytnant før han reiste til Sydney i 1791. I Sydney ble han forfremmet til major, og han var senior offiser mellom august 1796 og november 1799, og han kontrollerte korpset i en tid da de fleste høytstående australske offiserer gjorde seg opp store formuer med handel samtidig som de utvidet sine allerede store landområder. Foveaux ble raskt den største grunn-eieren i den britiske kolonien Australia. Innen 1800-tallet hadde han etablert seg et rykte som en dyktig og effektiv koloni-administrator.