Simple KeyStore caching