Mercy murió el 29 de junio de 1734 en la batalla de Parma mientras lideraba personalmente sus tropas. No dejó hijos, y su nombre pasó al conde Argenteau, de donde venía la familia de Mercy-Argenteau. Fue el padre adoptivo del conde Florimond de Mercy d'Argenteau, y su tío abuelo era Franz, freiherr von Mercy.