LLAMA Model Save with INT8 Format| 东毅居士

LLAMA Model Save with INT8 Format

作者：XD / 发表： 2023年7月31日 02:51 / 更新： 2023年7月31日 02:51 / 编程笔记 / 阅读量：365

LLAMA Model Save with INT8 Format

from transformers import BitsAndBytesConfig
from transformers import AutoModelForCausalLM

config = BitsAndBytesConfig(
    load_in_8bit=True,
)
path = "/home/llm/model/path/"
model = AutoModelForCausalLM.from_pretrained(path, device_map="cpu", quantization_config=config)
model.save_pretrained("model_save_folder-8bit")

本文作者：XD 转载请标明出处：http://www.eadst.com/blog/199

本站采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。

上一篇
Baidu Translation API Code

下一篇
Save Hugging Face Model with One Bin

Category

标签云

UNIX Conda Excel VPN Baidu SVR InvalidArgumentError Shortcut Dataset Quantize Numpy Proxy Hungarian Ubuntu GPTQ Sklearn PIP Paddle Interview NLP XGBoost Linux Land Nginx Attention Michelin Color YOLO logger CEIR BTC 腾讯云 NameSilo Docker Image2Text Bert Permission Food Pytorch Paper 搞笑 Git Pillow TensorFlow Algorithm LLM NLTK COCO Random PyCharm AI LLAMA Diagram JSON 阿里云 Pandas VGG-16 Template 签证 llama.cpp Base64 Pickle CTC ONNX uwsgi Use diffusers Django CUDA Domain Quantization Google v2ray TensorRT 关于博主 Windows Streamlit OpenAI LaTeX torchinfo Disk Github Video Augmentation Input transformers QWEN XML Password LoRA Markdown LeetCode FlashAttention SPIE Crawler Jetson Translation Website CV SQL GGML C++ CAM Gemma Ptyhon Statistics Bipartite Plotly WebCrawler Python Safetensors tar RGB Review CSV GIT Zip PDF OpenCV Knowledge HuggingFace TSV Web scipy ChatGPT SQLite Heatmap Anaconda Clash Datetime 报税 ResNet-50 HaggingFace OCR Tensor 域名 Tiktoken Tracking Cloudreve BeautifulSoup DeepStream ModelScope Plate GoogLeNet Data GPT4 uWSGI Bitcoin Qwen Bin Distillation EXCEL

站点统计

本站现有博文242篇,共被浏览291901次

本站已经建立1782天!

原 LLAMA Model Save with INT8 Format

作者：XD / 发表： 2023年7月31日 02:51 / 更新： 2023年7月31日 02:51 / 编程笔记 / 阅读量：365

LLAMA Model Save with INT8 Format