Robert-Gaston-Marie Aymar de Dampierre var sønn av Jeanne Louise Basset de Châteaubourg (1854–1922) og Éric de Dampierre (1851–1927). Han trådte inn i den franske utenrikstjeneste før utbruddet av første verdenskrig og var attaché ved ambassaden i Wien. I 1917 ble han ambassadesekretær i Tokyo.