Extract GrowableVocab without writing vocab file