Rumilly dut subir à plusieurs reprises occupations et dévastations, notamment en 1339 lors du siège de Cambrai par le roi Édouard III d'Angleterre et en 1677, lorsque le maréchal de Luxembourg s'installa à Rumilly, Louis XIV ayant mis le siège devant Cambrai pour la prendre aux Espagnols. En 1871 encore, les Prussiens occupent le village pendant une courte durée, jusqu'à la capitulation de la France.