De ascendencia inglesa y escocesa, nació en la plantación de sus padres, Brick House, en Karnack, Texas, y fue la hija de Minnie Patillo-Taylor (1868-1918) y Thomas Jefferson Taylor, un acomodado hombre de negocios.