Kastil Middleham menjadi milik keluarga Neville pada tahun 1270.