I juni 2005 ble Brown nominert til medlem av Order of Australia «for sine tjenester til samfunnet gjennom en rekke veldedige organisasjoner». Brown ble introdusert til sin fremtidige kone Rachel Ward for første gang på settet til TV-miniserien i 1983. De giftet seg noen måneder etter filmingen. De fikk tre barn sammen: Rosie, Matilda og Joe.