Den 5. februar 1940 fikk han kommandoen over 7. panserdivisjon, som ble del av det XV. panserkorps under general Hoth. Rommels divisjon ble senere kalt spøkelsesdivisjonen (opprinnelig av franskmennene) fordi de aldri kunne vite hvor den var og ville angripe fra. Tilnavnet skyldtes divisjonens svært raske fremrykning gjennom Ardennene og kryssing av elven Meuse ved Dinant i Belgia, dens inntrengning gjennom forsvarernes rekker og dype inntrengning retning Den engelske kanal (jf. Blitzkrieg).