malgeum/TranslateKoEn

본 모델은 번역하는 모델로 (한국어 => 영어) 이고 데이터는 AI HUB 사이트에서 있는 일상생활 한국어-영어 말뭉치와 그외 다른 도메인(기술과학 , 사회과학등 )에 존재하는 데이터를 통합하고 불필요한 특수문자를 제거하는 등의 전처리를 통해서 트랜스포머 아키텍처로 에포크 10회로 학습을 하였습니다. (데이터 부족 등의 한계로 검증 데이터셋을 마련하지 않음) 주요 하이퍼파라미터는 다음과 같습니다. model = Seq2SeqTransformer( num_encoder_layers=3, num_decoder_layers=3, emb_size=512, max_len=512, nhead=8, src_vocab_size=sp.get_piece_size(), tgt_vocab_size=sp2.get_piece_size(), dim_feedforward=2048 ).to(DEVICE)

단어사전은 센텐스피스로 한국어 32000 , 영어 16000 크기로 설정하였고 번역 방식은 그리디 알고리즘으로 구현하였습니다. 사진에서처럼 첫번째와 두번째 문장은 기존 데이터를 참조하여 번역을 시도한것이고 대체로 잘 번역을 하지만 세번째와 네번째 번역은 일반화 능력이 떨어지는 낮은 번역성능을 보여주고 있습니다. 개인이 데이터를 확보하고 오랜 학습을 하는 것에 부담이 커서 이정도로 마무리하고 기록을 남기기 위해 모델을 올렸습니다. 실제로 구동하고 싶은 분은 레포지토리에 있는 파일들을 다운 받아서 테스트 파일을 실행만 시키면 테스트를 해볼 수 있습니다.