Cox era filho de Archibald e Frances "Fanny" Perkins Cox e o mais velho de sete filhos. O seu pai era um advogado de alta patente. E a sua mãe era irmã de Maxwell Perkins, o famoso editor da companhia publicitária "Charles Scribner's Sons". Também do lado materno, Cox era bisneto de Charles Callahan Perkins, um dos fundadores do Museu de Belas Artes de Boston. Os ancestrais de Cox também incluem o seu bisavô, o procurador-geral William M. Evarts, que durante o seu mandato defendeu o presidente Andrew Johnson durante o seu processo de impeachment e mais tarde se tornou o Secretário de Estado da administração de Rutherford B. Hayes e senador por Nova Iorque. Além disso, o próprio Evarts era descendente de Roger Sherman, um pai fundador e signatário de Connecticut da Declaração de Independência dos Estados Unidos.  Frances Cox também deu parte do seu tempo para atividades da comunidade, por exemplo, como membro do Hospital Auxiliador de Mulheres Muhlenberg. Em uma entrevista de 1987, Cox declarou: "Eu cresci em uma família jurídica, meus ancestrais de ambos os lados eram advogados e acho difícil pensar em um tempo em que não queria ser advogado."