Remove old keystore