悪影響がなければそのままでもいいと思います。一般的には汚れがたまり周りの歯をむし歯にするために抜いたほうがいいことが多いです。