I 1311 befestet Robert de Holand krongodset i Melbourne som etter det ble kjent som Melbourne Castle selv om befestningene aldri ble fullført. Tidlig på 1600-tallet var borgen i så dårlig forfatning at den ble revet. Ruinene etter borgen er fremdeles synlig.