Qwen

Qwen은 알리바바 클라우드에서 개발한 대형 언어 모델 계열이다. 많은 Qwen 변형은 Apache-2.0 라이선스에 따라 오픈 웨이트 모델로 배포되는 반면, 다른 변형은 알리바바 클라우드를 통해 서비스된다.

2024년 7월, 사우스 차이나 모닝 포스트는 벤치마킹 플랫폼 SuperCLUE가 Qwen2-72B-Instruct를 오픈AI의 GPT-4o 및 앤트로픽의 클로드 3.5 소네트 다음으로 평가했으며, 다른 중국 모델들보다 앞섰다고 보도했다.

 모델 
섬네일|위키페탄을 기반으로 Qwen3-Max(Qwen-Image 사용)가 AI 생성한 이미지. 프롬프트는 다음과 같다: 이 이미지를 피카소와 후안 그리스 스타일의 그림으로 변환하세요|422x422픽셀

 언어모델 
알리바바는 2023년 4월 Qwen이라는 이름으로 Qwen 베타를 출시했고, 2023년 9월 규제 승인 후 대중에게 공개했다.

이 모델의 아키텍처는 메타 AI가 개발한 라마 아키텍처를 기반으로 한다. 2023년 12월에는 72B 및 1.8B 모델을 다운로드용으로 출시했으며, Qwen 7B 가중치는 8월에 출시되었다. 이 모델들은 때때로 오픈 소스로 설명되지만, 훈련 코드가 공개되지 않았고 훈련 데이터도 문서화되지 않았으며, 오픈 소스 AI 정의나 리눅스 재단의 모델 개방 프레임워크 조건을 충족하지 않는다.

2024년 6월 알리바바는 Qwen2를 출시했으며, 9월에는 일부 모델을 오픈 웨이트로 출시했지만 가장 진보된 모델은 독점적으로 유지했다.

2024년 11월, 오픈AI의 o1과 유사하게 추론에 중점을 둔 모델인 QwQ-32B-Preview가 아파치 2.0 라이선스에 따라 출시되었지만, 데이터 세트나 훈련 방법이 아닌 가중치만 출시되었다. QwQ는 32K 토큰의 컨텍스트 길이를 가지며 일부 벤치마크에서 o1보다 성능이 더 좋다.

Qwen-VL 시리즈는 비전 트랜스포머와 LLM을 결합한 시각 언어 모델 라인이다. 알리바바는 20억 및 70억 매개변수 변형을 가진 Qwen2-VL을 출시했다.

2025년 1월, 30억, 70억, 320억, 720억 매개변수 변형을 가진 Qwen2.5-VL이 출시되었다. 72B 변형을 제외한 모든 모델은 아파치 2.0 라이선스에 따라 라이선스가 부여된다. Qwen-VL-Max는 2024년 현재 알리바바의 주력 비전 모델이며 알리바바 클라우드에서 백만 입력 토큰당 0.41달러의 비용으로 판매된다.

알리바바는 Qwen-Audio 및 Qwen2-Math와 같은 여러 다른 모델 유형을 출시했다. 총 100개 이상의 오픈 웨이트 모델을 출시했으며, 해당 모델은 4,000만 번 이상 다운로드되었다. 샌프란시스코에 본사를 둔 Abacus AI가 개발한 "Liberated Qwen"과 같이 열성적인 사람들이 미세 조정된 버전의 Qwen을 개발했는데, 이 버전은 콘텐츠 제한 없이 모든 사용자 요청에 응답한다.

2025년 1월 29일, 알리바바는 Qwen2.5-Max를 출시했다. 알리바바의 블로그 게시물에 따르면 Qwen2.5-Max는 주요 벤치마크에서 GPT-4o, 딥시크, 라마-3.1-405B와 같은 다른 기반 모델보다 우수한 성능을 발휘한다. 2025년 2월, 알리바바는 공식 X 계정을 통해 2.5-Max 모델이 공개될 것이라고 발표했지만, 아직 출시되지 않았다.

2025년 3월 24일, 알리바바는 Qwen2.5-VL 모델의 후속작으로 Qwen2.5-VL-32B-Instruct를 출시했다. 이 모델은 아파치 2.0 라이선스에 따라 출시되었다.

2025년 3월 26일, Qwen2.5-Omni-7B는 아파치 2.0 라이선스에 따라 출시되었으며, chat.qwen.ai 및 허깅 페이스, 깃허브, ModelScope와 같은 플랫폼을 통해 제공되었다. Qwen2.5-Omni 모델은 텍스트, 이미지, 비디오, 오디오를 입력으로 받고 텍스트와 오디오를 출력으로 생성하여 오픈AI의 GPT-4o와 유사하게 실시간 음성 채팅에 사용할 수 있다.

2025년 4월 28일, Qwen3 모델 제품군이 출시되었으며, 모든 모델은 아파치 2.0 라이선스에 따라 라이선스가 부여되었다. Qwen3 모델 제품군에는 밀집 모델(0.6B, 1.7B, 4B, 8B, 14B, 32B 매개변수)과 희소 모델(3B 활성화 매개변수를 가진 30B, 22B 활성화 매개변수를 가진 235B)이 모두 포함된다. 이 모델들은 119개 언어와 방언으로 된 36조 개의 토큰으로 훈련되었다. 0.6B, 1.7B, 4B 변형을 제외한 모든 모델은 128K 토큰 컨텍스트 창을 가진다. 오픈AI의 o1 및 QwQ 32B와 마찬가지로 Qwen3 모델은 토크나이저를 통해 활성화 또는 비활성화할 수 있는 추론을 지원한다. Qwen3 모델은 chat.qwen.ai를 통해 사용할 수 있으며 허깅 페이스 및 ModelScope를 통해 다운로드할 수 있다.

2025년 9월 5일, 알리바바는 Qwen3-Max를 출시했다. 알리바바의 공식 X 계정에 따르면, 이 모델은 Qwen3-235B-A22B-Instruct-2507, Kimi K2, 클로드 4, 딥시크 3.1와 같은 다른 기반 비추론 모델들보다 성능이 우수하다. Qwen3-Max에는 아직 전용 사고 모드가 없다.

2025년 9월 10일, Qwen3-Next가 아파치 2.0 라이선스에 따라 출시되었으며, chat.qwen.ai 및 허깅 페이스, Model Scope와 같은 플랫폼을 통해 제공되었다. Qwen3-Next에는 두 가지 후훈련된 Instruct 및 Thinking 모델이 포함된다. Qwen3-Next는 컨텍스트 길이 확장(Context Length Scaling)과 총 매개변수 확장(Total Parameter Scaling)이 대형 모델의 미래에 두 가지 주요 트렌드라는 믿음으로 Qwen3-Next라는 새로운 모델 아키텍처로 만들어졌다. Qwen3-Next는 Qwen3 아키텍처에 비해 여러 가지 주요 개선 사항을 도입했다: 하이브리드 어텐션 메커니즘, 고도로 희소한 전문가 혼합(MoE) 구조, 훈련 안정성에 친화적인 최적화, 더 빠른 추론을 위한 다중 토큰 예측 메커니즘. Qwen3-Next 아키텍처를 기반으로 총 80B 매개변수와 3B 활성 매개변수를 가진 모델이 생성되었다. Qwen3-Next 모델은 Qwen3-32b와 비슷하거나 일부 경우 더 나은 성능을 보이면서도 훈련 비용(GPU 시간)의 10% 미만을 사용한다. 추론에서는, 특히 32K 토큰을 초과하는 컨텍스트에서, 10배 이상 높은 처리량을 달성한다. Qwen3.5는 Qwen3-Next 아키텍처의 정교한 버전을 사용할 예정이다.

2025년 9월 22일, Qwen3-Omni는 아파치 2.0 라이선스에 따라 출시되었으며, chat.qwen.ai 및 허깅 페이스와 Model Scope와 같은 플랫폼을 통해 제공되었다. Qwen3-Omni는 텍스트, 이미지, 오디오, 비디오를 처리하고 텍스트와 자연어 음성으로 실시간 스트리밍 응답을 제공할 수 있는 혼합/멀티모달 모델이다.

 이미지 모델 
모두 오픈소스 모델들로 2025년 8월 4일에 출시된 Qwen-Image, 2025년 9월 23일에 출시한 Qwen-Image-Edit가 있다. 가장 큰 특징으로는 생성되는 결과물의 일관성을 잘 유지한다는 것이다.

특히 Qwen-Image-Edit 모델의 경우, 구글의 이미지 생성 모델인 나노바나나(Gemini 2.5 flash image)라는 모델과 성능이 비슷하거나 능가함에도 불구하고 오픈소스라는 점이 큰 인기를 끌었다. 모델을 양자화를 시키면 적은 VRAM 환경에서도 원활히 돌아간다.

 각주 

 외부 링크 
 
 
 
 

분류:알리바바 그룹
분류:아파치 라이선스 소프트웨어
분류:오픈 소스 인공지능
분류:2023년 소프트웨어
분류:대형 언어 모델
분류:GPT (언어 모델)