LLAMA Model Save with INT8 Format| 东毅居士

LLAMA Model Save with INT8 Format

作者：XD / 发表： 2023年7月31日 02:51 / 更新： 2023年7月31日 02:51 / 编程笔记 / 阅读量：2134

LLAMA Model Save with INT8 Format

from transformers import BitsAndBytesConfig
from transformers import AutoModelForCausalLM

config = BitsAndBytesConfig(
    load_in_8bit=True,
)
path = "/home/llm/model/path/"
model = AutoModelForCausalLM.from_pretrained(path, device_map="cpu", quantization_config=config)
model.save_pretrained("model_save_folder-8bit")

本文作者：XD 转载请标明出处：http://www.eadst.com/blog/199

本站采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。

上一篇
Baidu Translation API Code

下一篇
Save Hugging Face Model with One Bin

Category

标签云

Michelin Domain Search Firewall tar ModelScope CV RGB LLAMA git-lfs CTC FP16 printf 版权公式 NLTK 域名 Claude Llama QWEN Numpy 算法题 Bitcoin Color 报税 Use UI 多进程财报 scipy Disk Image2Text Google Distillation uWSGI Markdown Gemma Website GIT Hotel VPN Plate CEIR Agent SQLite transformers 强化学习 GPTQ OCR CSV v0.dev HuggingFace Baidu PyTorch Python Food BF16 Augmentation Rebuttal mmap ChatGPT DeepSeek 腾讯云 Video Excel Pillow Cloudreve Qwen2.5 Bipartite GPT4 NLP Translation XML Streamlit 净利润 AI Dataset Vmess Sklearn NameSilo 飞书 CC Magnet v2ray Heatmap Template Random Qwen Hungarian Tracking logger API Nginx Quantize 证件照 Proxy COCO Algorithm 阿里云 Tiktoken 多线程递归学习法 FP64 C++ Paper Datetime Crawler Hilton Ptyhon HaggingFace 继承 CLAP LoRA Mixtral Linux CAM Jupyter WebCrawler EXCEL torchinfo 第一性原理 LeetCode Input SQL ONNX Zip RL InvalidArgumentError Review LaTeX Data git 论文速读 Github 图标 Logo Windows BeautifulSoup tqdm Pickle SAM Freesound Knowledge llama.cpp Land PDF News Tensor Safetensors diffusers RAR Web TSV 搞笑 SVR hf Docker Permission Diagram PDB BTC 云服务器 Password OpenCV Anaconda OpenAI FlashAttention FP32 Pytorch Ubuntu DeepStream JSON PyCharm CUDA XGBoost Qwen2 Jetson Git ms-swift Breakpoint Animate Vim Conda 图形思考法关于博主 Statistics TensorFlow Math 音频 VGG-16 icon Transformers FP8 Attention uwsgi WAN Interview TensorRT PIP UNIX Bert LLM Shortcut Bin VSCode 签证 Django ResNet-50 Base64 Clash TTS SPIE Quantization GGML Paddle Card Plotly Miniforge IndexTTS2 YOLO 论文顶会 MD5 FastAPI GoogLeNet Pandas

站点统计

本站现有博文332篇,共被浏览888936次

本站已经建立2591天!

原 LLAMA Model Save with INT8 Format

作者：XD / 发表： 2023年7月31日 02:51 / 更新： 2023年7月31日 02:51 / 编程笔记 / 阅读量：2134

LLAMA Model Save with INT8 Format