在此十九年之久。苏格兰女王玛丽一世据传也可能曾被囚禁在墨尔本城堡中，她的关押地曾随历史变迁发生过变化。 伊丽莎白一世统治末期，墨尔本城堡走向逐渐衰败。虽然其石质建材还算坚固，但整体结构早已在无数次的修缮维护中摇摇欲坠。1604年，第五代亨廷顿伯爵亨利·黑斯廷买下了墨尔本城堡，决定在阿什比德拉宙附近建一座新城堡。墨尔本城堡因此被拆毁，用做建材。如今的城堡遗址只剩下一段长15米，高4米的城墙，还有一些残留的地基，而城堡内部的构造已经不得而知。该遗址被列入英国二级登录建筑和古代遗址列表，普通民众无法进入。