同时，大比令延岛（）和许科戈尔德斯霍尔姆岛（）上也建筑了防卫堡垒，使埃尔夫斯堡的战略地位大降。约翰·韦恩舍尔德（）于1650年提出拆除埃尔夫斯堡。1654年，埃尔夫斯堡开始人去楼空，再1656年至1658年的战争期间才恢复驻军。1660年7月20日，卡尔十一世国王下令把埃尔夫斯堡炸毁，但内部结构移到新建筑的城堡。1661年，「埃尔夫斯堡」的名字转让至新城堡，称「新埃尔夫斯堡」。此后，已荒废的城堡用作矿场，1673年完成拆除。
现今.埃尔夫斯堡的遗址受建筑上盖保护。考古学家曾在20世