LLAMA Model Save with INT8 Format| 东毅居士

LLAMA Model Save with INT8 Format

作者：XD / 发表： 2023年7月31日 02:51 / 更新： 2023年7月31日 02:51 / 编程笔记 / 阅读量：2048

LLAMA Model Save with INT8 Format

from transformers import BitsAndBytesConfig
from transformers import AutoModelForCausalLM

config = BitsAndBytesConfig(
    load_in_8bit=True,
)
path = "/home/llm/model/path/"
model = AutoModelForCausalLM.from_pretrained(path, device_map="cpu", quantization_config=config)
model.save_pretrained("model_save_folder-8bit")

本文作者：XD 转载请标明出处：http://www.eadst.com/blog/199

本站采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。

上一篇
Baidu Translation API Code

下一篇
Save Hugging Face Model with One Bin

Category

标签云

Permission Disk Ubuntu PyCharm Mixtral COCO 签证 hf Random PyTorch SQL VPN Llama uwsgi Quantization Logo 递归学习法 JSON YOLO Animate DeepSeek UI 第一性原理 Quantize Miniforge 公式 TSV transformers LLAMA Template Google Claude 腾讯云 QWEN PIP GPT4 NLP Input 证件照 BF16 logger Statistics InvalidArgumentError Firewall Windows GoogLeNet TensorFlow 阿里云 WebCrawler v0.dev SVR Qwen2 Translation 云服务器 News Qwen2.5 DeepStream scipy FP8 Land SAM PDB ChatGPT torchinfo 多线程 Color Vim 顶会 tar Vmess Video CEIR Bert tqdm FastAPI 图形思考法 Interview Pickle FP64 Linux Bitcoin Website 净利润 Safetensors 强化学习 FP16 Algorithm Food 版权 Distillation diffusers Gemma Card Jupyter 财报 Math XGBoost Diagram CTC Pillow git Paper CV Bipartite Jetson Docker Django IndexTTS2 SPIE Base64 WAN ONNX TensorRT LoRA BTC CLAP mmap Data TTS PDF Agent Hilton Streamlit 继承 BeautifulSoup Dataset uWSGI git-lfs Markdown Proxy CC LaTeX Use EXCEL Domain Sklearn Bin Git ResNet-50 API UNIX Anaconda 多进程 AI 音频算法题 Crawler 飞书 NameSilo OCR Transformers Nginx 关于博主 Breakpoint CSV Github CAM RGB Image2Text CUDA Search Ptyhon GGML GPTQ v2ray Magnet Zip Tiktoken icon 论文速读 Paddle Michelin 报税 LLM Clash NLTK Tracking Datetime VGG-16 Conda Python HuggingFace C++ XML OpenAI HaggingFace 域名 Tensor ModelScope Excel OpenCV VSCode SQLite LeetCode FlashAttention Baidu Pandas Numpy Hotel Hungarian FP32 llama.cpp printf Web 论文 RAR Pytorch MD5 搞笑 Shortcut GIT Password Heatmap Cloudreve 图标 Augmentation Knowledge Review Freesound Attention Rebuttal Plate Plotly Qwen

站点统计

本站现有博文328篇,共被浏览845038次

本站已经建立2550天!

原 LLAMA Model Save with INT8 Format

作者：XD / 发表： 2023年7月31日 02:51 / 更新： 2023年7月31日 02:51 / 编程笔记 / 阅读量：2048

LLAMA Model Save with INT8 Format