Las relaciones de Pepys con Downing no fueron muy buenas, así que con la llegada de la Restauración en 1660 Pepys aceptó la oferta que Lord Sandwich, pariente lejano suyo, le hizo para entrar a su servicio en el Almirantazgo.