Gracie nació en Mobile, Alabama, miembro de la rica familia escocesa-americana Gracie de Nueva York. Era homónimo y descendiente directo de Archibald Gracie, que había construido la Gracie Mansion, actual residencia del alcalde de Nueva York, en 1799. Su padre, Archibald Gracie III, había sido oficial de Infantería Ligera de Washington en el Ejército Confederado durante la Guerra Civil Americana, sirviendo en la Batalla de Chickamauga antes de fallecer en Petersburg, Virginia, en 1864.