14. yüzyılın başlarından itibaren, Melbourne Kalesi esas olarak Earllar ve Lancaster Dükleri'nin mülkiyetindeydi. İyileştirmeler ve onarımlar, özellikle John of Gaunt tarafından yapıldı ve bina, 15. ve 16. yüzyılın başlarında genellikle iyi durumdaydı. Bourbon Dükü I. John, 1415'te Agincourt Savaşı'nda yakalandıktan sonra 19 yıl boyunca Melbourne'da tutuldu ve olaylar başka yerlerde hapsedilmesine yol açsa da, kale İskoç Kraliçesi Mary için olası bir hapishane olarak kabul edildi.