Gemma (언어 모델)

Gemma는 구글 딥마인드가 개발한 오픈 소스 대형 언어 모델 시리즈이다. 제미나이와 유사한 기술을 기반으로 한다. 첫 번째 버전은 2024년 2월에 출시되었고, 이어서 2024년 6월에 Gemma 2, 2025년 3월에 Gemma 3이 출시되었다. 시각-언어 모델인 PaliGemma와 돌고래 의사소통 이해를 위한 DolphinGemma와 같은 Gemma의 변형도 개발되었다.

 역사 
2024년 2월, 구글은 제미나이의 경량 버전 역할을 하는 자유 및 오픈 소스 LLM 제품군인 Gemma를 선보였다. 이 모델은 각각 20억 개와 70억 개의 매개변수를 가진 두 가지 크기의 신경망으로 제공된다. 여러 매체는 이를 메타 및 다른 기업들이 AI 모델을 오픈 소스화하는 것에 대한 응답이자, AI를 독점적으로 유지하려는 구글의 오랜 관행에서 벗어난 극명한 전환으로 평가했다.

Gemma 2는 2024년 6월 27일에 출시되었고, Gemma 3은 2025년 3월 12일에 출시되었다.

 개요 
제미나이 시리즈 모델과 유사한 기술을 기반으로 하는 Gemma는 구글에 의해 "모든 사람에게 AI를 유용하게 만드는" 구글의 사명을 지원하는 데 도움이 된다고 설명된다. 구글은 의료 분석을 위한 MedGemma 및 돌고래 의사소통 연구를 위한 DolphinGemma와 같이 특정 사용 사례에 최적화된 공식 Gemma 변형을 제공한다.

출시 이후 Gemma 모델은 1억 5천만 회 이상의 다운로드를 기록했으며, 허깅 페이스에는 7만 가지 변형이 제공된다.

최신 세대 모델은 Gemma 3으로, 10억, 40억, 120억, 270억 개의 매개변수 크기로 제공되며 140개 이상의 언어를 지원한다. 멀티모달 모델로서 텍스트 및 이미지 입력을 모두 지원한다. 구글은 또한 휴대폰, 노트북, 태블릿과 같은 소비자 기기에서 실행하도록 최적화된 소형 모델인 Gemma 3n을 제공한다.

 한국어 
로컬로 사용가능한 오픈소스 모델 중에서는 높은 한국어 성능을 가지고 있다. LLaMA에 비해 4B, 12B 같은 작은 매개변수를 가진 모델들에서도 한글을 깨지지 않고 답변을 한다.
하지만, 이와 별개로 생성되는 답변에 대해서는 환각이 심한편이다.

 아키텍처 
Gemma의 최신 버전인 Gemma 3은 디코더 전용 트랜스포머 아키텍처를 기반으로 하며, 그룹화된 질의 어텐션(GQA) 및 SigLIP 비전 인코더를 사용한다. Gemma 3 1B를 제외한 모든 모델은 128K의 컨텍스트 길이를 가지며, 1B 모델은 32K의 컨텍스트 길이를 가진다.

양자화 인식 훈련(QAT)을 사용하여 파인 튜닝된 양자화 버전도 제공되어, 정확도 및 정밀도에 약간의 부정적인 영향을 미 미치면서 상당한 메모리 사용량 개선을 제공한다.

 변형 
구글은 의료 분석 또는 프로그래밍과 같은 특정 목적을 위해 설계된 Gemma 모델의 공식 변형을 개발한다. 여기에는 다음이 포함된다.

 ShieldGemma 2 (4B): Gemma 3 제품군을 기반으로 하는 ShieldGemma는 폭력적이고 위험하며 성적으로 노골적인 이미지를 식별하고 필터링하도록 설계되었다.
 MedGemma (4B 및 27B): Gemma 3을 기반으로 하는 MedGemma는 이미지 분석과 같은 의료 응용 분야를 위해 설계되었다. 그러나 구글은 MedGemma가 "아직 임상 등급이 아니다"라고 언급한다.
 DolphinGemma (약 400M): 조지아 공과대학교 및 Wild Dolphin Project의 연구원들과 협력하여 개발된 DolphinGemma는 돌고래 의사소통을 오디오 분석을 통해 더 잘 이해하는 것을 목표로 한다.
 CodeGemma (2B 및 7B): CodeGemma는 코드 자동 완성 및 일반 코딩 사용을 위해 설계된 모델 그룹이다. 파이썬, 자바, C++ 등 여러 프로그래밍 언어를 지원한다.

+Gemma 모델의 기술 사양 세대 출시일 매개변수 컨텍스트 길이 멀티모달 참고 Gemma 1    2B, 7B  8,192    2B는 7B에서 증류되었다. 2B는 다중 질의 어텐션을 사용하고 7B는 다중 헤드 어텐션을 사용한다. CodeGemma   2B, 7B  8,192    코드 생성용으로 파인 튜닝된 Gemma 1. RecurrentGemma    2B, 9B  무제한 (8,192에서 훈련됨)    트랜스포머 기반 대신 그리핀 기반. Gemma 2    2B, 9B, 27B  8,192   27B는 웹 문서, 코드, 과학 논문에서 훈련되었다. Gemma 2 9B는 27B에서 증류되었다. Gemma 2 2B는 출시되지 않은 7B 모델에서 증류되었다. 그룹화된 질의 어텐션을 사용한다. PaliGemma    3B  8,192   텍스트와 이미지 입력을 받아 텍스트를 출력하는 비전-언어 모델. SigLIP-So400m 이미지 인코더와 Gemma v1.0 2B를 연결하여 만들어졌다. PaliGemma 2    3B, 10B, 28B  8,192    SigLIP-So400m을 Gemma v2.0 2B, 9B, 27B와 결합하여 만들어졌다. 더 많은 비전-언어 작업을 수행할 수 있다. Gemma 3    1B, 4B, 12B, 27B  131,072    모든 모델은 증류를 통해 훈련되었다. 훈련 후 수학, 코딩, 채팅, 지시 따르기, 다국어(140개 언어 지원)에 중점을 둔다. 함수 호출이 가능하다. 1B는 비전 기능이 없다.

참고: 오픈 가중치 모델은 추론 시 컨텍스트 길이를 재조정할 수 있다. Gemma 1, Gemma 2, PaliGemma, PaliGemma 2의 경우 컨텍스트 창 크기에 비례하여 kv-캐시 크기가 선형적으로 증가한다. Gemma 3의 경우 로컬 및 전역 어텐션의 분리로 인해 향상된 성장 곡선이 있다. RecurrentGemma의 경우 2,048개 토큰 이후 메모리 사용량은 변하지 않는다.

 각주 

 외부 링크 


분류:챗봇
분류:구글의 소프트웨어
분류:2024년 소프트웨어
분류:대형 언어 모델
분류:GPT (언어 모델)
분류:구글 딥마인드