ダフィールド城
のち、ホースレイにあるホーストン城(英語版)もこれに加えた。いずれかの時点で、タットベリーとダフィールドの城が(今回は石で)再建された。次のウィリアム3世も王室と良好な関係を保った。
次代の7代目にあたるロバートはヘンリー3世に反逆し、タットベリー城は破壊された。ロバートは寛恕を受けたものの、再び反乱を起こしてチェスターフィールドの戦いに敗れ、1269年に領地を没収され、ダフィールド城も破壊された。王子のエドマンドが領地を受け継ぎ、ほどなくランカスター伯爵家を創始した。
城は文字通り、完膚なきまでに破壊された。石の多くは建材として他所へ持ち去られ、跡は次第に草生す地へ変わっていった。城があった名残は「キャッスル・オーチャード」(城の果樹園)という地名が留めている。これは現在、城の土塁の下にある同名の住宅地からヘイゼルウッド通りにかけての一帯で、1885年に再発見された。