Brown vokste opp i det sørvestlige Sydney i forstaden Bankstown og han dro til England i 1964 der han hadde enkelte små roller på forskjellige teater-produksjoner. Han returnerte til Australia og ble medlem av Genesian Theatre, Sydney. Han dukket opp i regissør Colleen Cliffords produksjon av , før han ble medlem av Queensland Theatre Company. Brown gjorde skuespiller-debut på australske kinoer i 1977 med en liten rolle i filmen og han dukket opp i flere australske filmer de to neste årene. I 1980 ble Brown kjent for et internasjonalt publikum for sin rolle i Breaker Morant.