Fra 1851 til 1859 ble et nytt arkivbygg reist av sir James Pennethorne ved siden av Rolls Chapel. Mellom 1895 og 1902 ble det utvidet, og det gamle kapellet ble revet fordi det hadde strukturelle skader.