Danskekongen som hadde vært underrettet om disse planene, måtte gå til angrep for å stoppe den farlige utviklingen. Hærtoget året 1361 fikk et svært blodig utfall, slaget ved Visby som var ikke mindre blodig enn slaget ved Skanderborg tjue år tidligere. Ved hell var Elisabeth sammen med sitt følge, tatt til fange av danskene etter et skibbrudd samme år.