Update README.md

README.md

@@ -30,7 +30,13 @@ llama-3-8b-instruct-262k-chinese基于[Llama-3-8B-Instruct-262k](https://hugging
 1. 支持超长context length 262k token，适合RAG
 2. 支持中英文
 3. 支持多轮对话，代码编码、推理能力强，英文知识充分
-4. 模型推理需要显存22GB（fp16）
+4. 模型推理需要显存：
+
+Quantization |	Peak Usage for Encoding 2048 Tokens |	Peak Usage for Generating 8192 Tokens
+-- | -- | --
+FP16/BF16 |	17.66GB |	22.58GB
+Int4  |		8.21GB |	13.62GB
+
 
 缺点：
 1. model size只有8B，知识类问答幻觉明显
@@ -74,6 +80,25 @@ content = outputs[0]["generated_text"][len(prompt):]
 print(content)
 ```
 
+
+result:
+```shell
+机器学习（Machine Learning）是一种基于计算机算法的自动数据分析技术，用于从数据中学习并预测未来的结果。它是人工智能（AI）和数据挖掘（Data Mining）的子领域，旨在通过训练和调整算法来发现数据中的模式、关系和规律。
+
+机器学习算法可以分为监督学习、无监督学习和半监督学习三类：
+
+1. 监督学习（Supervised Learning）：在这种类型的学习中，算法被提供带有标签的数据集，用于训练。算法学习如何将输入数据映射到输出数据，并在新数据上进行预测。常见的监督学习算法包括逻辑回归、决策树、支持向量机（SVM）、随机森林和神经网络。
+2. 无监督学习（Unsupervised Learning）：在这种类型的学习中，算法没有标签数据。算法学习数据中的模式、结构和关系，并可能发现新的数据集群或特征。常见的无监督学习算法包括聚类、主成分分析（PCA）、独立成分分析（ICA）和高维度数据降维。
+3. 半监督学习（Semi-supervised Learning）：在这种类型的学习中，算法被提供部分带有标签的数据集。算法学习如何将输入数据映射到输出数据，并在新数据上进行预测。半监督学习算法结合了监督学习和无监督学习的优点，常见的半监督学习算法包括自我标注（Self-Labeling）和基于图的半监督学习（Graph-based Semi-supervised Learning）。
+
+机器学习的应用广泛，包括自然语言处理、计算机视觉、推荐系统、人工智能和自动驾驶等领域。它的优势包括：
+
+1. 自动化：机器学习算法可以自动从数据中发现模式和关系，无需人为干预。
+2. 高效性：机器学习算法可以处理大量数据，并且可以在不需要人为干预的情况下进行预测。
+3. 适应性：机器学习算法可以根据数据集的变化和更新进行调整。
+4. 精准性：机器学习算法可以通过训练和测试来提高预测的准确性。
+```
+
 ## train detail
 
 train loss: