Ilovajsk ble grunnlagt i 1869 på jernbanelinjen mellom Kharkiv og Taganrog. Den har sitt navn etter slekten Ilovajski, russere i donkosakkenes tjeneste som ble rike gruveeiere.