基本的に残してしまって大丈夫です。
瓶とフタの間に隙間ができず、酸化による風味の劣化を防ぐことができます。