Нужно проверять ее состояние еще — вдруг она уже остановилась между этими двумя строками?

Ну и логичнее сделать в два цикла — в одном послать всем тредам quit, потом, в другом, уже проверить-подождать завершение и удалить.