Brown ble født i Washington, D.C., som datter av Elizabeth Ann (født Blair), en lærer, og Milton Henry Brown, som jobbet i Central Intelligence Agency. Hun ble uteksaminert fra The Madeira School i McLean i Virginia, og studerte deretter skuespill ved National Theatre School of Canada, og ble uteksaminert i 1969. Hun ble bemerket som skuespiller ved Shakespeare-festivalen i Stratford og brukte flere år på å jobbe på scenen der.