これに関しては、「遅い状態が速くなる」というよりは「ダウンロードが進まないもしくは何かバグってる時に直る」という方が多いように思えます。
なので、「ずっとグルグルしてて進まない」「ダウンロードが一切進まない」という状態で困っている時に試してみると効果的でしょう。
元より、ダウンロードキャッシュは残しておくメリットもほとんどありません。
毎度ダウンロードが失敗するごとに消しておいて損はしないので、毎度キャッシュを消す習慣を付けておいても良いかもしれません。