HW-202337458-tokenizer-practice

Assignment

Tokenizer 실습 과제입니다.

Student

• Student ID: 202337458
• Hugging Face ID: hf-june

Practice A. Text

• AutoTokenizer 사용
• bert-base-uncased 로드
• padding 적용
• truncation 적용
• decode 수행
• 저장/로드 확인

Practice B. Image

• AutoImageProcessor 사용
• google/vit-base-patch16-224 로드
• 이미지 batch 처리
• 저장/로드 확인

Practice C. Multimodal

• AutoProcessor 사용
• openai/clip-vit-base-patch32 로드
• text/image 동시 처리
• 저장/로드 확인

Files

• tokenizer_processor_practice.ipynb
• assignment_summary.json
• README.md

How to Use

1. tokenizer_processor_practice.ipynb 파일을 Colab에서 엽니다.
2. 위에서부터 순서대로 실행합니다.
3. 각 실습의 저장 전/후 검증 결과가 True로 출력되는지 확인합니다.