Spaces:
Paused
Paused
File size: 5,200 Bytes
ee6e328 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 |
<!---
Copyright 2021 The HuggingFace Team. All rights reserved.
Licensed under the Apache License, Version 2.0 (the "License");
you may not use this file except in compliance with the License.
You may obtain a copy of the License at
http://www.apache.org/licenses/LICENSE-2.0
Unless required by applicable law or agreed to in writing, software
distributed under the License is distributed on an "AS IS" BASIS,
WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
See the License for the specific language governing permissions and
limitations under the License.
β οΈ Note that this file is in Markdown but contain specific syntax for our doc-builder (similar to MDX) that may not be
rendered properly in your Markdown viewer.
-->
# μ±λ₯ λ° νμ₯μ± [[performance-and-scalability]]
μ μ λ ν° κ·λͺ¨μ νΈλμ€ν¬λ¨Έ λͺ¨λΈμ νλ ¨νκ³ νλ‘λμ
μ λ°°ν¬νλ λ°μλ λ€μν μ΄λ €μμ΄ λ°λ¦
λλ€. νλ ¨ μ€μλ λͺ¨λΈμ΄ μ¬μ© κ°λ₯ν GPU λ©λͺ¨λ¦¬λ³΄λ€ λ λ§μ λ©λͺ¨λ¦¬λ₯Ό νμλ‘ νκ±°λ νλ ¨ μλκ° λ§€μ° λ릴 μ μμΌλ©°, μΆλ‘ μ μν΄ λ°°ν¬ν λλ μ ν νκ²½μμ μꡬλλ μ²λ¦¬λμΌλ‘ μΈν΄ κ³ΌλΆνκ° λ°μν μ μμ΅λλ€. μ΄ λ¬Έμλ μ΄λ¬ν λ¬Έμ λ₯Ό 극볡νκ³ μ¬μ© μ¬λ‘μ κ°μ₯ μ ν©ν μ€μ μ μ°Ύλλ‘ λμμ μ£ΌκΈ° μν΄ μ€κ³λμμ΅λλ€. νλ ¨κ³Ό μΆλ‘ μΌλ‘ κ°μ΄λλ₯Ό λΆν νλλ°, μ΄λ κ°κ° λ€λ₯Έ λ¬Έμ μ ν΄κ²° λ°©λ²μ΄ μκΈ° λλ¬Έμ
λλ€. κ·Έλ¦¬κ³ κ° κ°μ΄λμλ λ€μν μ’
λ₯μ νλμ¨μ΄ μ€μ μ λν λ³λμ κ°μ΄λκ° μμ΅λλ€(μ: νλ ¨μ μν λ¨μΌ GPU vs λ€μ€ GPU λλ μΆλ‘ μ μν CPU vs GPU).
![perf_overview](https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/perf_overview.png)
μ΄ λ¬Έμλ μ¬μ©μμ μν©μ μ μ©ν μ μλ λ°©λ²λ€μ λν κ°μ λ° μμμ μν μ ν©λλ€.
## νλ ¨ [[training]]
ν¨μ¨μ μΈ νΈλμ€ν¬λ¨Έ λͺ¨λΈ νλ ¨μλ GPUλ TPUμ κ°μ κ°μκΈ°κ° νμν©λλ€. κ°μ₯ μΌλ°μ μΈ κ²½μ°λ λ¨μΌ GPUλ§ μ¬μ©νλ κ²½μ°μ§λ§, λ€μ€ GPU λ° CPU νλ ¨μ λν μΉμ
λ μμ΅λλ€(곧 λ λ§μ λ΄μ©μ΄ μΆκ°λ μμ ).
<Tip>
μ°Έκ³ : λ¨μΌ GPU μΉμ
μμ μκ°λ λλΆλΆμ μ λ΅(μ: νΌν© μ λ°λ νλ ¨ λλ κ·ΈλΌλμΈνΈ λμ )μ μΌλ°μ μΈ λͺ¨λΈ νλ ¨μλ μ μ©λλ―λ‘, λ€μ€ GPUλ CPU νλ ¨κ³Ό κ°μ μΉμ
μ μ΄ν΄λ³΄κΈ° μ μ κΌ μ°Έκ³ νμκΈΈ λ°λλλ€.
</Tip>
### λ¨μΌ GPU [[single-gpu]]
λ¨μΌ GPUμμ λκ·λͺ¨ λͺ¨λΈμ νλ ¨νλ κ²μ μ΄λ €μΈ μ μμ§λ§, μ΄λ₯Ό κ°λ₯νκ² νλ μ¬λ¬ κ°μ§ λꡬμ λ°©λ²μ΄ μμ΅λλ€. μ΄ μΉμ
μμλ νΌν© μ λ°λ νλ ¨, κ·ΈλΌλμΈνΈ λμ λ° μ²΄ν¬ν¬μΈν
, ν¨μ¨μ μΈ μ΅ν°λ§μ΄μ , μ΅μ μ λ°°μΉ ν¬κΈ°λ₯Ό κ²°μ νκΈ° μν μ λ΅ λ±μ λν΄ λ
Όμν©λλ€.
[λ¨μΌ GPU νλ ¨ μΉμ
μΌλ‘ μ΄λ](perf_train_gpu_one)
### λ€μ€ GPU [[multigpu]]
λ¨μΌ GPUμμ νλ ¨νλ κ²μ΄ λ무 λ리거λ λκ·λͺ¨ λͺ¨λΈμ μ ν©νμ§ μμ κ²½μ°λ μμ΅λλ€. λ€μ€ GPU μ€μ μΌλ‘ μ ννλ κ²μ λ
Όλ¦¬μ μΈ λ¨κ³μ΄μ§λ§, μ¬λ¬ GPUμμ ν λ²μ νλ ¨νλ €λ©΄ κ° GPUλ§λ€ λͺ¨λΈμ μ 체 μ¬λ³Έμ λμ§, νΉμ λͺ¨λΈ μ체λ μ¬λ¬ GPUμ λΆμ°νμ¬ λμ§ λ± μλ‘μ΄ κ²°μ μ λ΄λ €μΌ ν©λλ€. μ΄ μΉμ
μμλ λ°μ΄ν°, ν
μ λ° νμ΄νλΌμΈ λ³λ ¬νμ λν΄ μ΄ν΄λ΄
λλ€.
[λ€μ€ GPU νλ ¨ μΉμ
μΌλ‘ μ΄λ](perf_train_gpu_many)
### CPU [[cpu]]
[CPU νλ ¨ μΉμ
μΌλ‘ μ΄λ](perf_train_cpu)
### TPU [[tpu]]
[_곧 μ 곡λ μμ _](perf_train_tpu)
### νΉμν νλμ¨μ΄ [[specialized-hardware]]
[_곧 μ 곡λ μμ _](perf_train_special)
## μΆλ‘ [[inference]]
μ ν λ° μλΉμ€ νκ²½μμ λκ·λͺ¨ λͺ¨λΈμ ν¨μ¨μ μΌλ‘ μΆλ‘ νλ κ²μ λͺ¨λΈμ νλ ¨νλ κ²λ§νΌ μ΄λ €μΈ μ μμ΅λλ€. μ΄μ΄μ§λ μΉμ
μμλ CPU λ° λ¨μΌ/λ€μ€ GPU μ€μ μμ μΆλ‘ μ μ§ννλ λ¨κ³λ₯Ό μ΄ν΄λ΄
λλ€.
### CPU [[cpu]]
[CPU μΆλ‘ μΉμ
μΌλ‘ μ΄λ](perf_infer_cpu)
### λ¨μΌ GPU [[single-gpu]]
[λ¨μΌ GPU μΆλ‘ μΉμ
μΌλ‘ μ΄λ](perf_infer_gpu_one)
### λ€μ€ GPU [[multigpu]]
[λ€μ€ GPU μΆλ‘ μΉμ
μΌλ‘ μ΄λ](perf_infer_gpu_many)
### νΉμν νλμ¨μ΄ [[specialized-hardware]]
[_곧 μ 곡λ μμ _](perf_infer_special)
## νλμ¨μ΄ [[hardware]]
νλμ¨μ΄ μΉμ
μμλ μμ λ§μ λ₯λ¬λ μ₯λΉλ₯Ό ꡬμΆν λ μ μ©ν νκ³Ό μλ Ήμ μ΄ν΄λ³Ό μ μμ΅λλ€.
[νλμ¨μ΄ μΉμ
μΌλ‘ μ΄λ](perf_hardware)
## κΈ°μ¬νκΈ° [[contribute]]
μ΄ λ¬Έμλ μμ±λμ§ μμ μνμ΄λ©°, μΆκ°ν΄μΌ ν λ΄μ©μ΄λ μμ μ¬νμ΄ λ§μ΄ μμ΅λλ€. λ°λΌμ μΆκ°νκ±°λ μμ ν λ΄μ©μ΄ μμΌλ©΄ μ£Όμ νμ§ λ§κ³ PRμ μ΄μ΄ μ£Όμκ±°λ, μμΈν λ΄μ©μ λ
ΌμνκΈ° μν΄ Issueλ₯Ό μμν΄ μ£ΌμκΈ° λ°λλλ€.
Aκ° Bλ³΄λ€ μ’λ€κ³ νλ κΈ°μ¬λ₯Ό ν λλ, μ¬ν κ°λ₯ν λ²€μΉλ§ν¬μ/λλ ν΄λΉ μ 보μ μΆμ² λ§ν¬λ₯Ό ν¬ν¨ν΄μ£ΌμΈμ(λΉμ μΌλ‘λΆν°μ μ§μ μ μΈ μ λ³΄κ° μλ κ²½μ°). |