Ellen Louise Axson Wilson, født i Savannah, Georgia, datter av pastor Samuel Edward Axson, en Presbyteriansk prest, og hans kone Margaret Jane (født Hoyt) Axson, Ellen ble en kvinne av raffinert smak med en forkjærlighet for kunst, musikk og litteratur. Da hun var elleve år gammel, begynte hun å studere kunst ved Roma Kvinnelige College i Georgia. Etter eksamen i 1876 sendte hun en tegning med tittelen "Skolescene" til verdensutstillingen i Paris., der vant tegningen en bronsemedalje for excellence.