Чтобы тесты корректно завершались, надо вызывать ExecutorService.shutdown и ещё проверять awaitTemination.