Transformers documentation

다중 GPU에서 효율적인 추론

You are viewing v4.34.0 version. A newer version v4.46.0 is available.
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

다중 GPU에서 효율적인 추론

이 문서에는 다중 GPU에서 효율적으로 추론하는 방법에 대한 정보가 포함되어 있습니다.

참고: 다중 GPU 설정은 단일 GPU 섹션에서 설명된 대부분의 전략을 사용할 수 있습니다. 그러나 더 나은 활용을 위해 간단한 기법들을 알아야 합니다.

더 빠른 추론을 위한 BetterTransformer

우리는 최근 텍스트, 이미지 및 오디오 모델에 대한 다중 GPU에서 더 빠른 추론을 위해 BetterTransformer를 통합했습니다. 자세한 내용은 이 통합에 대한 문서를 확인하십시오.