Harry John Neville Vane, den 11:e baron Barnard, dog på Raby Castle nära Staindrop på söndag. Han var 92 år.
I ett kort uttalande sade hans familj att han dog fridfullt omgiven av nära och kära.
Lord Barnard, som efterträdde sin far 1964, hade många titlar i County Durham. Han överlever med fem barn.
Den Raby egendom omfattar stora delar av Teesdale inklusive många gårdar och hus som kan kännas igen genom sina vitkalkade väggar.
Raby Castles personal twittrade: "Så mycket tack för kondoleansens budskap vi har fått. Lord Barnard kommer tyvärr att saknas."
Familjen Vane har haft barnardtiteln sedan 1698.
Klicka här för mer information om denna berättelse och andra nyheter från hela nordöstra delen
Lord Barnard har dött på slottet, hans familj har bekräftat det.