Diana ble født inn i en aristokratisk familie, med røtter fra det kongelige huset Stuart. På morssiden hadde Diana irsk, skotsk og engelsk slekt. Hennes oldemor var den kjente New York-arvingen Frances Ellen Work.