Dixie Bibb ble født den 26. juli 1882, ved Montgomery i Alabama til Peyton og Isabel Thorpe Bibb på familiens plantasje. Etter å ha gått i offentlige skoler, giftet hun seg i 1900, i en alder av 18, statspolitikeren og fetteren David Bibb Graves.