Rongier opiskeli kuvataidetta ensiksi syntymäpaikkakunnallaan Henri Senartin oppilaana. Myöhemmin häntä opettivat Henri Joseph Harpignies ja Evariste Vital Luminais. Rongier on tunnettu historiamaalauksistaan. Hänen töitään oli esillä Chicagon maailmannäyttelyssä vuonna 1893 ja Pariisin maailmannäyttelyssä vuonna 1900. Hän sai molemmista kunniamaininnan. Hän oli myös vuodesta 1883 jäsenenä Société des Artistes Français -yhdistyksessä.