Gray kom fra en familie av akademikere, begge foreldrene hadde doktorgrad. Foreldrene kunne snakke sammen på klassisk gresk for å unngå at andre forsto. Gray ble født i Heidelberg, der faren underviste ved universitetet. Hun forlot Tyskland sammen med familien i 1934 etter Hitlers maktovertakelse. Moren Annemarie Bettmann var jødisk og faren var offentlig motstander av nazismen. Faren, Hajo Holborn, oppga et professorat i Berlin og ble senere professor ved Yale University og en ledende forsker på Tysklands moderne historie. Hun var som ung belest både i tyske og amerikanske klassikere, og fikk en delvis tysk oppdragelse hjemme. Hun vokste opp i New Haven-området der faren Hajo Holborn ble ansatt ved Yale.