Georges-Charles var det tredje av seks barn av godseieren Joseph Conrad baron d’Anthès og hans hustru Marie-Anne-Louise, født grevinne av Hatzfeld. Hans oldefar Jean-Henri Anthès var i desember 1731 blitt elevert til den adelige stand av kong Ludvig XV av Frankrike.