Archibald Gracie entstammte einer reichen schottisch-amerikanischen Familie. Sein Vater, Archibald Gracie III, diente in der Confederate States Army während des Bürgerkrieges und starb 1864 während der Belagerung von Petersburg. Einer seiner Vorfahren, der ebenfalls Archibald Gracie hieß, hatte das Gracie Mansion in New York gebaut. Gracie besuchte die St. Paul's School in Concord, New Hampshire, und lernte danach an der United States Military Academy, die er ohne Abschluss verließ. Er betätigte sich als Historiker und war seit 1890 mit Constance Gracie (geb. Schack) verheiratet, mit der er zwei Töchter hatte, Constance und Edith. 1912 beschloss Gracie nach Europa zu reisen, was er, ohne seine Familie, an Bord der RMS "Oceanic" tat. Seine Rückreise trat er auf der "Titanic" an.