エクスプローラーの閲覧履歴（最近使ったアイテム）は削除することができます。 こちらの「タスクバーに表示される最近使ったアイテムを非表示にする方法 Windows11」で詳しい手順を紹介しているのでご覧ください。