Comenzó a caer en desgracia con motivo de los reveses militares de la Segunda Guerra Anglo-Holandesa entre 1665 y 1667 y por la negociación del Tratado de Breda que puso fin a la misma.