Archibald Gracie nacque nel 1859 a Mobile, in Alabama. Appartenente alla ricca famiglia dei Gracie di New York, era discendente dell'omonimo Archibald Gracie, costruttore della Gracie Mansion, l'attuale residenza ufficiale del sindaco di New York. Suo padre fu Archibald Gracie III, ufficiale dell'esercito degli Stati Confederati d'America durante la guerra civile americana, il quale combatté nella battaglia di Chickamauga e in quella di Petersburg, dove venne ucciso. Il giovane Archibald frequentò la Scuola di St. Paul a Concord, nel New Hampshire, e l'Accademia Militare degli Stati Uniti, ma non prese mai la laurea. Decise piuttosto di entrare nell'esercito, raggiungendo il grado di colonnello della 7ª Milizia di New York.