Нужно использовать [TemporaryFolderRule](https://github.com/junit-team/junit/wiki/Rules#temporaryfolder-rule)