Remove empty spec dir