Gérôme døde 10. januar 1904 i en alder av 79 år. Etter hans eget ønske, ble det holdt en enkel begravelse. Men oppmøtet til begravelsen var uansett enorm, og besto blant annet av datidens største politikere, kunstnere og forfattere. Han ble begravd i Paris sammen med sin sønn, som døde 13 år før.