Да. Можно. Щелкните правой кнопкой мыши по иконке корзины и выберите «Свойства». Затем поставьте галочку возле «Удалять файлы не помещая их в Корзину» и нажмите «ОК» для подтверждения.