Jabarkan Burges ke Graham, 1878–1962 dari The Tower House

Burges mendiami rumah ini pertama kali pada 5 Maret 1878. Rumah ini menyediakan segala kebutuhan untuk menghibur seluruh temannya, "seluruh anggota Pre-Raphaelite London". Anjing-anjingnya, Dandie, Bogie dan Pinkie, diabadikan dalam bentuk lukisan di berbagai furniture seperti pada Dog Cabinet dan kaki The Red Bed. Burges memamerkan berbagai koleksi senjata dalam ruang senjata. Dekorasi kamar tidurnya menunjukkan ketertarikannya pada hal lain: kegemaran akan opium. Lemari dengan panel penutup bergaya bunga poppy diletakkan di samping tempat tidurnya.

Pada tahun 1881, setelah kedinginan selama mengawasi pekerjaan di Cardiff, Burges pulang ke rumah dalam keadaan setengah lumpuh dan terbaring sekarat kurang lebih tiga minggu. Beberapa orang menjenguknya termasuk Oscar Wilde dan James Whistler. Burges wafat di atas Red Bed pada 20 April 1881, setelah sekitar tiga tahun menempati Tower House, pada usia 53 tahun. Ia dimakamkan di West Norwood Cemetery.

Hak sewa bangunan tersebut kemudian diwariskan kepada ipar Burges, Richard Popplewell Pullan. Pullan menyelesaikan beberapa proyek Burges yang belum selesai dan menulis dua studi tentang karyanya. Hak sewa tersebut kemudian dibeli oleh Colonel T.H. Minshall, penulis What to Do with Germany dan Future Germany, yang merupakan ayah dari Merlin Minshall. Minsall kemudian menjual hak sewanya kepada Colonel E.R.B dan Nyonya Graham tahun 1933. Tower House terdaftar sebagai bangunan Grade I dalam listed building pada 29 July 1949.