Remove the default keystore