LLAMA Model Save with INT8 Format| 东毅居士

LLAMA Model Save with INT8 Format

作者：XD / 发表： 2023年7月31日 02:51 / 更新： 2023年7月31日 02:51 / 编程笔记 / 阅读量：1928

LLAMA Model Save with INT8 Format

from transformers import BitsAndBytesConfig
from transformers import AutoModelForCausalLM

config = BitsAndBytesConfig(
    load_in_8bit=True,
)
path = "/home/llm/model/path/"
model = AutoModelForCausalLM.from_pretrained(path, device_map="cpu", quantization_config=config)
model.save_pretrained("model_save_folder-8bit")

本文作者：XD 转载请标明出处：http://www.eadst.com/blog/199

本站采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。

上一篇
Baidu Translation API Code

下一篇
Save Hugging Face Model with One Bin

Category

标签云

BF16 GIT 多线程 Transformers Data FP16 Video Jupyter CEIR Algorithm LLAMA VPN API Bitcoin Distillation Food 腾讯云 Domain Card llama.cpp Jetson Base64 CSV Disk Pillow Datetime FP64 Review transformers RAR HuggingFace Windows TTS UNIX Mixtral 递归学习法 PyCharm Input Django RGB printf SPIE Shortcut TensorRT QWEN Pytorch mmap Paddle logger git-lfs 飞书 Plotly PDF Web Bipartite CUDA Knowledge CTC EXCEL Anaconda Miniforge Augmentation 域名顶会 Password NameSilo Conda ChatGPT Linux 报税 ONNX Streamlit Attention DeepStream Clash CV SQL GGML tqdm CAM Gemma NLP Permission WebCrawler LLM Breakpoint Template News 搞笑 Sklearn Plate BTC XGBoost 第一性原理 Crawler GPTQ 净利润 BeautifulSoup 图形思考法 LaTeX v2ray Qwen2.5 FlashAttention VGG-16 Quantization SVR Michelin FP8 Numpy Firewall git TensorFlow Interview Nginx 关于博主 Proxy Cloudreve Diagram JSON Use diffusers 算法题财报 OpenAI ModelScope Quantize Claude Tracking AI uwsgi Image2Text Tensor Pickle CLAP 证件照 Statistics Website VSCode Logo YOLO Magnet 多进程 Python TSV GPT4 v0.dev C++ IndexTTS2 uWSGI MD5 UI Vim Heatmap Animate CC Math Markdown 阿里云 Agent Pandas Ubuntu InvalidArgumentError Tiktoken scipy Freesound Zip Hilton 强化学习 Hungarian Search HaggingFace 云服务器 hf 签证版权 Bert Translation WAN Excel Qwen Random tar FastAPI LoRA Github SQLite Ptyhon Vmess ResNet-50 Baidu OCR GoogLeNet 继承 Safetensors SAM Color Docker XML LeetCode Bin 公式 PyTorch 音频 Hotel PDB FP32 Git DeepSeek Dataset COCO Llama torchinfo Qwen2 Google NLTK Land OpenCV PIP Paper

站点统计

本站现有博文321篇,共被浏览783241次

本站已经建立2476天!

原 LLAMA Model Save with INT8 Format

作者：XD / 发表： 2023年7月31日 02:51 / 更新： 2023年7月31日 02:51 / 编程笔记 / 阅读量：1928

LLAMA Model Save with INT8 Format