LLAMA Model Save with INT8 Format| 东毅居士

LLAMA Model Save with INT8 Format

作者：XD / 发表： 2023年7月31日 02:51 / 更新： 2023年7月31日 02:51 / 编程笔记 / 阅读量：898

LLAMA Model Save with INT8 Format

from transformers import BitsAndBytesConfig
from transformers import AutoModelForCausalLM

config = BitsAndBytesConfig(
    load_in_8bit=True,
)
path = "/home/llm/model/path/"
model = AutoModelForCausalLM.from_pretrained(path, device_map="cpu", quantization_config=config)
model.save_pretrained("model_save_folder-8bit")

本文作者：XD 转载请标明出处：http://www.eadst.com/blog/199

本站采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。

上一篇
Baidu Translation API Code

下一篇
Save Hugging Face Model with One Bin

Category

标签云

Proxy scipy Datetime SQL Food 算法题 Website 域名 YOLO Algorithm Transformers Quantization BTC Ubuntu COCO Password NLP Bitcoin LaTeX NLTK ResNet-50 FP32 Distillation HuggingFace Python Qwen2.5 TSV Excel 报税 BF16 Paddle ChatGPT TensorRT NameSilo LeetCode Video git-lfs Bipartite Bin Interview Magnet uwsgi Gemma Numpy WebCrawler CEIR Statistics Heatmap Quantize SQLite Land Streamlit ModelScope git Base64 SPIE Web JSON CUDA Google Pickle Ptyhon Disk Qwen llama.cpp DeepStream HaggingFace Random Dataset CAM FP64 Domain transformers Pytorch Clash BeautifulSoup Conda Knowledge 关于博主 Hilton Safetensors VGG-16 Plate Template Zip Django torchinfo diffusers hf 搞笑 Diagram Augmentation InvalidArgumentError PIP Data EXCEL Pandas v2ray XML Docker Michelin Review VSCode GPTQ Github ONNX Tiktoken Bert FlashAttention Plotly Translation Input logger SVR Tensor LLAMA Git RGB Vim XGBoost Baidu Windows Math OCR Markdown Hotel QWEN Tracking OpenAI TensorFlow GIT LLM OpenCV tar Vmess Pillow uWSGI UNIX Image2Text Card GPT4 Sklearn PyCharm GGML 阿里云 FP16 CSV Use PDF Jetson GoogLeNet LoRA CV Hungarian Cloudreve Shortcut Color Crawler C++ Linux 签证 VPN Anaconda Nginx FastAPI CTC 腾讯云 Attention AI MD5 Permission Paper

站点统计

本站现有博文266篇,共被浏览440653次

本站已经建立2019天!

原 LLAMA Model Save with INT8 Format

作者：XD / 发表： 2023年7月31日 02:51 / 更新： 2023年7月31日 02:51 / 编程笔记 / 阅读量：898

LLAMA Model Save with INT8 Format