После теста executorService надо закрыть: shutdown(). А ещё вызвать awaitTermination, чтобы точно убедиться, что все потоки завершили работу.