Upload KorSciDeBERTa환경설치+파인튜닝.md

KorSciDeBERTa환경설치+파인튜닝.md

@@ -0,0 +1,248 @@
+# KorSciDeBERTa 환경 설치 & 파인튜닝
+
+# \[참고\] Deberta-native (github)
+
+[https://github.com/microsoft/DeBERTa](https://github.com/microsoft/DeBERTa)
+
+  
+
+### KorSciDeBERTa-native 설치
+
+*   추후 모델 제출시 결과 재현을 위해 아래 환경 파일 생성 후 동봉 요망
+1. conda env export > deberta.yaml
+2. pip freeze > requirements.txt
+
+```plain
+#아래 명령을 순서대로 실행하면서 에러 확인
+git clone https://huggingface.co/kisti/korscideberta; cd korscideberta; unzip korscideberta.zip -d korscideberta; cd korscideberta
+
+conda create -n deberta python=3.8 --quiet --yes
+#conda init bash; source ~/.bashrc
+#파이썬 3.8~3.9(3.10 미지원). torch 1.10(1.13이상 미지원)
+conda activate deberta; pip3 install -r requirements.txt; pip install --upgrade nltk; pip uninstall -y torch torchtext torch-tensorrt; pip install --upgrade pip; pip install torch==1.10.1+cu111 torchvision==0.11.2+cu111 torchaudio==0.10.1 -f https://download.pytorch.org/whl/cu111/torch_stable.html --default-timeout=100; pip install setuptools_scm six mlflow; pip install "numpy<1.24.0"; pip install .
+
+#pip설치 안될 시 kakao 서버 이용
+#pip install six mlflow -i http://ftp.daumkakao.com/pypi/simple --trusted-host ftp.daumkakao.com; pip install "numpy<1.24.0" -i http://ftp.daumkakao.com/pypi/simple --trusted-host ftp.daumkakao.com; pip install -r requirements.txt -i http://ftp.daumkakao.com/pypi/simple --trusted-host ftp.daumkakao.com; pip install --upgrade nltk i http://ftp.daumkakao.com/pypi/simple --trusted-host ftp.daumkakao.com;  pip install .
+```
+
+  
+
+###   
+
+###   
+
+  
+
+  
+
+  
+
+  
+
+  
+
+**mecab 설치**
+
+*     
+    
+    *   cd mecab
+    *   bash <(curl -s [https://raw.githubusercontent.com/konlpy/konlpy/master/scripts/mecab.sh](https://raw.githubusercontent.com/konlpy/konlpy/master/scripts/mecab.sh)); cd mecab-0.996-ko-0.9.2;
+    *   chmod 775 ./configure; ./configure; make; chmod 775 tests/\*.sh; make check; make install
+        (권한 에러시 sudo 사용 버전) sudo chmod 775 ./configure; ./configure; make; sudo chmod 775 tests/\*.sh; sudo make check; sudo make install
+        *   make 에러 발생 사례 및 해결
+            *   (make 에러 및 해결법)
+    
+
+```plain
+에러 1:
+libtool: Version mismatch error.  This is libtool 2.4.2 Debian-2.4.2-1ubuntu1, but the
+libtool: definition of this LT_INIT comes from libtool 2.4.6.
+libtool: You should recreate aclocal.m4 with macros from libtool 2.4.2 Debian-2.4.2-1ubuntu1
+libtool: and run autoconf again.
+
+해결법:
+autoreconf --force --install; ./configure; make
+
+에러 2:
+configure.in:23: error: required file './compile' not found
+configure.in:23:   'automake --add-missing' can install 'compile'
+configure.in:6: error: required file './missing' not found
+configure.in:6:   'automake --add-missing' can install 'missing'
+```
+
+*       *       *       *   (make 에러 2 발생시 아래를 실행 후 재시도)
+            *   해결법
+            *   apt-get install automake perl; apt-get update; apt-get upgrade; apt install build-essential automake dh-autoreconf libusb-1.0-0-dev cmake g++; apt-get install libtool; automake --add-missing; autoreconf; [autogen.sh](http://autogen.sh/); make clean
+            *   (sudo 사용 버전) sudo apt-get install automake perl; sudo apt-get update; sudo apt-get upgrade; sudo apt install build-essential automake dh-autoreconf libusb-1.0-0-dev cmake g++; sudo apt-get install libtool; automake --add-missing; autoreconf; [autogen.sh](http://autogen.sh/); make clean
+            *   대처 이후에도 에러 사례
+
+```plain
+make[2]: *** [Makefile:559: install-libLTLIBRARIES] Error 1
+make[2]: Leaving directory '/home/work/DeBERTa/mecab/mecab-0.996-ko-0.9.2/src'
+make[1]: *** [Makefile:761: install-am] Error 2
+make[1]: Leaving directory '/home/work/DeBERTa/mecab/mecab-0.996-ko-0.9.2/src'
+make: *** [Makefile:515: install-recursive] Error 1
+```
+
+*       *       *       *   #Cmake 없는 경우 설치 방법
+                *   [https://mong9data.tistory.com/124](https://mong9data.tistory.com/124)
+
+  
+
+  
+
+*   ###2. mecab-ko-dic 설치
+*   cd ../mecab-ko-dic-2.1.1-20180720; chmod 775 ./autogen.sh; ./autogen.sh; ./configure; make
+*   (sudo 사용 버전) cd ../mecab-ko-dic-2.1.1-20180720; sudo chmod 775 ./autogen.sh; ./autogen.sh; ./configure; make
+    *   갱신할 내용이 없는 경우에는 "make: Nothing to be done for 'all'." 출력됨
+
+*       *   ###3. 사용자 사전파일을 user-dic 폴더로 복사 & 설치
+    *   cp ../pa\* ./user-dic/; chmod 775 ./tools/add-userdic.sh; ./tools/add-userdic.sh; make install
+    *   (sudo 사용 버전) cp ../pa\* ./user-dic/; sudo chmod 775 ./tools/add-userdic.sh; ./tools/add-userdic.sh; sudo make install
+        *   수 분 소요됨
+*       *   ###4. 설치 확인법
+    *   mecab -d /usr/local/lib/mecab/dic/mecab-ko-dic
+    *   곧바로 콘솔에 '원천기술' 타이핑하여 입력시 원천 / 기술로 나누어지지 않고 원천기술로 출력되면 정상 설치(Ctrl+C로 나가기)
+    *   구동부 입력시 구동/부 가 아닌 구동부
+    *   cd ../..
+    *   ###5. 설치 중/후 문제 발생시 아래 명령어 실행 후 상기 설치 재확인
+    *   pip install mecab-python3; apt-get install mecab mecab-ipadic-utf8 libmecab-dev swig; bash <(curl -s [https://raw.githubusercontent.com/konlpy/konlpy/master/scripts/mecab.sh](https://raw.githubusercontent.com/konlpy/konlpy/master/scripts/mecab.sh))
+    *   (sudo 사용 버전) pip install mecab-python3; sudo apt-get install mecab mecab-ipadic-utf8 libmecab-dev swig; bash <(curl -s [https://raw.githubusercontent.com/konlpy/konlpy/master/scripts/mecab.sh](https://raw.githubusercontent.com/konlpy/konlpy/master/scripts/mecab.sh))
+
+  
+
+# 학습
+
+## 주제분류 학습
+
+conda activate deberta
+
+cd korscideberta/experiments/glue; chmod 777 \*.sh;
+
+  
+
+(학습 실행) ./mnli.sh
+
+: [mnli.sh](http://mnli.sh/) 내에서 **tag**\=1575000ntis1tier 에 학습된 모델 등을 출력할 폴더명을 지정
+
+![](https://t9007025107.p.clickup-attachments.com/t9007025107/7bb2ba9b-939d-4f6d-af7d-a4a335f97612/image.png)
+
+(모델 경로) init="checkpoint0324/pytorch.model.bin"
+
+(최신 체크포인트) init="korscideberta/pytorch\_model.bin"
+
+(OOM시) train\_batch\_size를 64 ➝ 32로 변경하여 해결
+
+  
+
+(입력) glue\_tasks/MNLI/train.tsv, test\_matched.tsv, dev\_matched.tsv
+
+: glue\_tasks 하위폴더에 MNLI-ntis3tier(소분류), MNLI-ntis2tier, MNLI-ntis1tier(대분류)와 같이 학습 데이터가 준비되어 있고,
+
+**실제 학습은 'MNLI'폴더 데이터가 이용**되므로 학습할 데이터 폴더를 'MNLI'로 수동으로 바꾸어 주어야 함.
+
+10-fold를 구현하려면 10개의 학습 데이터를 준비해 놓고, 기준 'MNLI'폴더 대신 10-fold 학습데이터 폴더를 조회하도록 변경해야 함.
+
+(입력 데이터 설명)
+
+```plain
+premise, hypothesis = 원본 mnli태스크에서 문장1, 문장2
+현 태스크에서는
+premise = 제목+저널명+서론
+hypothesis = 빈칸
+
+RCMN = 정답 레이블,
+top1-3 = 예측 레이블
+label = 분류 학습할때 쓰이는 라벨명(대/중/소 선택)
+
+label2tier = 사용하지 않음
+acc = 3개중에 2개 맞았으면 2
+```
+
+  
+
+(출력-모델 파일) out/157500ntis1tier/pytorch.model-001673.bin
+
+(학습 스크린샷)
+
+![](https://t9007025107.p.clickup-attachments.com/t9007025107/b1fc3101-81c1-4620-ae46-ef54b6615ca0/image.png)
+
+![](https://t9007025107.p.clickup-attachments.com/t9007025107/98e5a67f-eb37-4874-a89d-ffd25d2200ab/image.png)
+
+  
+
+  
+
+## 주제분류 추론, 평가
+
+#### 추론
+
+(추론 실행) [mnli-pred.sh](http://mnli-pred-ntis2tier20e5e-6-fp16false.sh/)
+
+: 추론 시행 후, 학습시와 동일하게 tag= 에서 지정한 출력폴더에 레이블별 추론 확률을 저장함.
+
+  
+
+(입력) 테스트 데이터 glue\_tasks/MNLI/test\_matched.tsv
+
+(확률값 출력) out/1575000ntis1tier-test/test\_logits\_matched\_1575000ntis1tier-test.txt
+
+: out/$tag/test\_logits\_matched\_$tag.txt
+
+![](https://t9007025107.p.clickup-attachments.com/t9007025107/81782469-dde3-480d-895f-c38a7471b82a/image.png)
+
+  
+
+  
+
+# \[첨부\]
+
+#### 평가 준비
+
+(평가 준비) eval/3testlogitstsvTestonlyTotop3.ipynb
+
+: 예측 확률값을 예측 레이블로 바꿈
+
+  
+
+(입력) tier = 1(대분류)
+
+테스트 데이터: filename = 'MNLI-ntis1/test\_matched.tsv'
+
+학습했던 데이터: trainlabelfile = 'MNLI-ntis1/train.tsv'
+
+확률값 파일: probfile = 'MNLI-ntis1/test\_logits\_matched\_1575000ntis1tier-test.txt'
+
+  
+
+(출력)
+
+outfile = 'MNLI-ntis1/20230607\_debertaTier1test.tsv'
+
+: tsv 파일로, 다음 컬럼에 정답 레이블과 예측 레이블 코드 리스트가 출력됨. \[5,6,7\], \[12,13,14\]
+
+(출력 예)
+
+![](https://t9007025107.p.clickup-attachments.com/t9007025107/7054067c-8ab3-43cc-8ac8-ec44ffce2d18/image.png)
+
+* * *
+
+  
+
+## Klue/Glue 벤치마크 학습
+
+cd experiments/glue; 
+
+  
+
+chmod 777 \*.sh; export CUDA\_VISIBLE\_DEVICES=0; ./stsb-glue.sh
+
+chmod 777 \*.sh; ./mnli.sh
+
+chmod 777 \*.sh; export CUDA\_VISIBLE\_DEVICES=0,1; ./ner-dp.sh
+
+chmod 777 \*.sh; export CUDA\_VISIBLE\_DEVICES=0,1; ./record.sh
+
+chmod 777 \*.sh; export CUDA\_VISIBLE\_DEVICES=0,1; ./cola.sh
+
+chmod 777 \*.sh; export CUDA\_VISIBLE\_DEVICES=0,1; ./cola.sh