Lord Spencer var bemerket sin interesse i litteratur og spesielt i tidlige eksempler av boktrykking. Hans samling på bøker ble lagt ut for salg i 1892 og ble kjøpt av Mrs Rylands for John Rylands Library.