Kardinal Mercier led av kronisk dyspepsi og undergikk i januar 1926 en operasjon for en lesjon i magen. På sykesengen fikk han besøk av blant andre kong Albert I og dronning Elisabeth. Mercier falt i koma den 23. januar og døde senere samme dag; han ble 74 år gammel.