Etter 1609 finnes det ingen registrerte beboere, men kapellanstillingen for institusjonen ble ikke avskaffet før parlamentet vedtok å gjøre det i 1891. På det tidspunkt hadde Master of the Rolls også blitt sjef for Public Record Office, som omkring 1838 tok i bruk bygningen som sitt første arkiv. På et tidspunkt mellom 1895 og 1902 ble bygningen, som hadde strukturelle svakheter, revet for å gi plass til en utvidelse av Public Record Offices nye bygning ved siden av.