LLAMA Model Save with INT8 Format| 东毅居士

LLAMA Model Save with INT8 Format

作者：XD / 发表： 2023年7月31日 02:51 / 更新： 2023年7月31日 02:51 / 编程笔记 / 阅读量：2233

LLAMA Model Save with INT8 Format

from transformers import BitsAndBytesConfig
from transformers import AutoModelForCausalLM

config = BitsAndBytesConfig(
    load_in_8bit=True,
)
path = "/home/llm/model/path/"
model = AutoModelForCausalLM.from_pretrained(path, device_map="cpu", quantization_config=config)
model.save_pretrained("model_save_folder-8bit")

本文作者：XD 转载请标明出处：http://www.eadst.com/blog/199

本站采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。

上一篇
Baidu Translation API Code

下一篇
Save Hugging Face Model with One Bin

Category

标签云

Ptyhon 关于博主版权 tar Harness Datetime COCO FastAPI Llama TTS Linux 搞笑 SAM 报税 VGG-16 Disk 图形思考法 OCR Anaconda HuggingFace Input BTC NLTK Mixtral Hungarian Tracking Attention Shortcut XGBoost Tiktoken Bitcoin FP8 Card 强化学习 Excel Paddle Bert PDF JSON News SPIE Tensor SQL Heatmap 论文 FlashAttention Pytorch 财报 TensorFlow scipy Interview GGML Video Github ModelScope Land Ubuntu Claude ms-swift Gemma Plotly 继承 Proxy Image2Text QWEN LeetCode BF16 云服务器 TSV TensorRT FP32 Qwen CEIR Clash diffusers Rebuttal transformers API llama.cpp Knowledge uwsgi CTC Michelin CAM WebCrawler SVR Hotel NameSilo Animate LLM 论文速读 PDB Translation RAR v0.dev Django Plate Crawler 飞书 DeepStream CLAP Transformers uWSGI Pillow git EXCEL Nginx XML GoogLeNet Python Baidu Bin Conda CV OpenCV Permission VSCode hf Sklearn 递归学习法 Pandas Template Streamlit BeautifulSoup 签证顶会 FP16 Search 净利润算法题 LaTeX 证件照 Dataset GIT ONNX Paper Qwen2.5 Food CSV NLP Git git-lfs PyCharm Color tqdm Jupyter 音频 MD5 Password Breakpoint Website Miniforge Vim ResNet-50 API网关 CUDA C++ Freesound RL 域名 Review InvalidArgumentError Qwen2 Math CC 图标 LoRA Pickle Domain Markdown Logo VPN FP64 Quantization DeepSeek RGB Windows Hilton Augmentation UNIX Data OpenAI Use PIP WAN 阿里云 logger icon v2ray Web Distillation 第一性原理 UI 腾讯云 Base64 SQLite Diagram Google Numpy GPT4 IndexTTS2 公式 Docker Cloudreve 多进程 Vmess Random Quantize Magnet YOLO ChatGPT HaggingFace Statistics LLAMA Bipartite PyTorch Zip torchinfo Jetson Agent mmap 多线程 Safetensors Firewall printf AI Algorithm GPTQ

站点统计

本站现有博文336篇,共被浏览946414次

本站已经建立2657天!

原 LLAMA Model Save with INT8 Format

作者：XD / 发表： 2023年7月31日 02:51 / 更新： 2023年7月31日 02:51 / 编程笔记 / 阅读量：2233

LLAMA Model Save with INT8 Format