Task: Translation / Conditional
User instruction:
Translate the given content into a polite English email.

안녕하세요. A에 재직 중인 B입니다.

상담요약 매체 통합 모델 전환과 관련하여 메일드립니다.
영어 3개 매체(챗, 이메일, 콜) 통합한 모델의 경로, 프롬프트, 파라미터 및 생성 필드의 변경, 생성 결과 및 성능 비교 정리하여 전달드립니다.

1. 경로

업로드한 adapter의 eBART 경로는 다음과 같습니다.: link
위의 adapter는 LoRA rank 32를 사용하고 있기에, Multi-LoRA 형태로 vLLM 서빙(검증계) 시 이보다 크거나 같은 max-lora-rank를 설정해주셔야 합니다.

2. 프롬프트 및 추론 시 호출 파라미터 변경
2.1. 프롬프트 변경
이번 모델 교체로 매체 별 프롬프트의 변경이 있습니다.
챗(english_chat_prompt.txt), 이메일(english_email_prompt.txt), 콜(english_call_prompt.txt) 각각을 위해 사용한 프롬프트는 메일에 첨부하였습니다.
각각의 프롬프트는 코드 내에서 strip()을 통해 본문 마지막의 newline, 공백을 제거하고 사용해주시면 감사하겠습니다.

2.2. 상담 원문 전처리
상담 원문에 대한 전처리 과정(strip, 영어 이메일 요약을 위한 전처리 로직 등)은 이전과 동일하게 유지되어야 합니다.
- 위와 같은 chat template의 수정은 apply_chat_template 호출과 같이 모델에서 자동으로 함수를 읽어서 사용하시는 경우 수정하지 않으셔도 됩니다.

2.3. 추론 시 호출 파라미터의 변경
기존 영어 콜 요약에서 사용하던 생성 파라미터의 변경 중 frequency_penalty의 변경이 있습니다:
- (기존) "frequency_penalty": 0.05 -> (수정) "frequency_penalty": 0.1
또한 베이스 모델이 변경됨에 따라 추론 종료 토큰에 해당하는 "stop_token_ids"가 다음과 같이 변경되어야 합니다:
- (기존) "stop_token_ids" 입력 안함 (기본값 사용) -> (수정) "stop_token_ids": [0]

3. 요약 결과 구조 변경
생성 속도와 관련된 요청으로 요약에서 다음의 요약 필드가 제거되었습니다. 이는 코파일럿에도 반영되어야 합니다.
- 제목(title)은 3개 매체에서 모두 제거되었습니다.
4. 생성 결과
모델의 생성 결과 및 분류 성능 평가 결과(영어통합_37B모델_TC_생성_및_평가_결과.xlsx)는 메일에 첨부하였습니다.
영어 콜의 경우, 일부 주관적인 label(고객 감정 label 및 위험도 label) 및 음성 전사 과정 중 발생하는 오류 및 마스킹으로 인한 label 오기입 등을 확인하여 수정하는 과정을 거쳤습니다. (첨부 파일 내 "영어 콜" -> "TC 라벨 (검토)" -> "검토 사유"에서 확인하실 수 있습니다.)
해당 파일을 통해 모델의 요약문 생성 결과와 분류 결과를 확인하실 수 있습니다.

5. 성능

기존 모델과 매체 통합의 성능 비교표입니다.
- 신규 모델은 기존 모델과 요약 수준은 유사한 수준을 유지합니다. 챗 summary의 길이는 소폭 감소하나 콜의 요약문은 전반적으로 더 구체적이게 됩니다.
  (요약문 길이는 요약 수준에 대한 척도이며 과다축약과 같은 문제가 발생하는지 보기 위해 계산합니다.)
- 신규 모델은 기존 모델에 비해 고위험 상황에 대한 상담 분류 및 고객 부정감정에 대한 분류 성능이 향상됩니다.
  (추가 성능 항목은 고위험 상황에 대한 분류 성능과 고객 부정감정에 대한 분류 성능을 확인하는 척도입니다. 이는 추가 관리가 필요할 수 있는 상담의 검출과 관련된 성능이 될 수 있기에 SR에서는 별도로 측정하여 비교하고 있습니다.)
- 챗과 이메일에 대해 분류 성능은 동일 수준(1%p 이내의 차이)을 유지하나 콜에 대한 평균 분류 성능은 소폭 감소합니다.
  (콜의 모델 분류의 경우 타 매체에는 없는 전사 과정 중 오류와 마스킹의 영향을 가장 많이 받는 필드이며 대부분의 오류는 전사 과정 중 오류/마스킹에 기인합니다.)

감사합니다.

B 드림.

Evaluation criteria:
The translated email must be in English.
The translated email should be written in a polite manner.
The translation must include the core content of the original text without omission or distortion.