I det meste av sin levetid var Pepys bibliofil og pleiet med omtanke sin store samling av bøker, manuskripter og trykk. Ved hans død var det over tre tusen bøker, inkludert Pepys dagbok, alt nøye katalogisert og indeksert, en av 1600-tallets viktigste private bibliotek.