LLAMA Model Save with INT8 Format| 东毅居士

LLAMA Model Save with INT8 Format

作者：XD / 发表： 2023年7月31日 02:51 / 更新： 2023年7月31日 02:51 / 编程笔记 / 阅读量：2191

LLAMA Model Save with INT8 Format

from transformers import BitsAndBytesConfig
from transformers import AutoModelForCausalLM

config = BitsAndBytesConfig(
    load_in_8bit=True,
)
path = "/home/llm/model/path/"
model = AutoModelForCausalLM.from_pretrained(path, device_map="cpu", quantization_config=config)
model.save_pretrained("model_save_folder-8bit")

本文作者：XD 转载请标明出处：http://www.eadst.com/blog/199

本站采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。

上一篇
Baidu Translation API Code

下一篇
Save Hugging Face Model with One Bin

Category

标签云

SAM MD5 Food XGBoost Pickle LLM YOLO 版权 HuggingFace Paper 图标 CLAP hf PDB News Tracking Paddle NameSilo 公式 Knowledge EXCEL GoogLeNet Quantize Base64 Transformers Algorithm 强化学习 Video Tensor COCO QWEN GPT4 transformers logger UNIX Image2Text 关于博主 FastAPI SPIE Datetime 飞书 Tiktoken AI Conda VSCode BTC Animate Diagram OpenCV Search Sklearn Data mmap Markdown Cloudreve Crawler C++ Password NLP SQL DeepSeek ModelScope Michelin uwsgi DeepStream RL BF16 签证 CV Bitcoin 多进程 Jetson 继承 Linux ChatGPT Streamlit Augmentation Zip icon 搞笑 CC RAR Card API Color 净利润 Shortcut llama.cpp Qwen2 torchinfo Magnet Permission 论文速读云服务器 OpenAI Git VPN diffusers Clash Pillow Template Hotel Baidu Llama ms-swift RGB tar Dataset 顶会 Review LoRA 音频 Qwen2.5 递归学习法 Proxy Jupyter Windows NLTK Django Rebuttal PyCharm Attention LLAMA OCR scipy TTS IndexTTS2 CTC WAN Vim VGG-16 报税 Plotly CSV v2ray Ubuntu SQLite CEIR Excel Distillation FP16 InvalidArgumentError LeetCode 财报 Input 腾讯云 Breakpoint Python tqdm Pandas GPTQ Github Statistics GIT git Safetensors 第一性原理证件照 v0.dev FP32 TSV FP64 printf Bert Anaconda Website Random Bipartite Use Gemma Miniforge Domain Ptyhon SVR Heatmap Translation Disk ResNet-50 Docker PyTorch Math FlashAttention 多线程 Vmess Interview PDF Claude 算法题 Hilton Firewall WebCrawler BeautifulSoup uWSGI CAM 阿里云 Hungarian Nginx XML Logo 图形思考法域名 JSON HaggingFace Qwen GGML Land PIP Freesound Pytorch 论文 Bin LaTeX UI Google TensorRT Quantization Plate FP8 Mixtral ONNX TensorFlow Web CUDA Agent Numpy git-lfs

站点统计

本站现有博文333篇,共被浏览925560次

本站已经建立2632天!

原 LLAMA Model Save with INT8 Format

作者：XD / 发表： 2023年7月31日 02:51 / 更新： 2023年7月31日 02:51 / 编程笔记 / 阅读量：2191

LLAMA Model Save with INT8 Format