Poco después de la muerte de Carlos II en 1685, Graham cayó temporalmente en desgracia.