LLAMA Model Save with INT8 Format| 东毅居士

LLAMA Model Save with INT8 Format

作者：XD / 发表： 2023年7月31日 02:51 / 更新： 2023年7月31日 02:51 / 编程笔记 / 阅读量：1904

LLAMA Model Save with INT8 Format

from transformers import BitsAndBytesConfig
from transformers import AutoModelForCausalLM

config = BitsAndBytesConfig(
    load_in_8bit=True,
)
path = "/home/llm/model/path/"
model = AutoModelForCausalLM.from_pretrained(path, device_map="cpu", quantization_config=config)
model.save_pretrained("model_save_folder-8bit")

本文作者：XD 转载请标明出处：http://www.eadst.com/blog/199

本站采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。

上一篇
Baidu Translation API Code

下一篇
Save Hugging Face Model with One Bin

Category

标签云

Agent Qwen2.5 v0.dev Augmentation Pillow Color Web SAM Proxy Search llama.cpp Food Disk GGML SVR Algorithm Python LoRA 飞书 Crawler MD5 OpenAI 图形思考法 Bert Streamlit Michelin Hotel VGG-16 PyTorch 报税 Gemma NLP 版权 WebCrawler Transformers 净利润 Jupyter TTS Password GoogLeNet 多进程 Diagram Vmess CC Distillation 财报 Bipartite mmap 证件照 Image2Text EXCEL DeepStream 音频 PDF 域名 Input Conda Jetson XML Clash Paddle Vim HuggingFace Attention 腾讯云递归学习法 CAM Translation Breakpoint SQL 搞笑 CV BeautifulSoup YOLO Github Datetime JSON AI NameSilo BTC FP64 InvalidArgumentError OpenCV COCO diffusers Knowledge GPT4 BF16 SPIE ChatGPT Pytorch Cloudreve VPN Numpy 云服务器公式 XGBoost GPTQ Qwen Quantization Random Video Tiktoken ResNet-50 FastAPI Review Nginx printf 签证 API LLM Bitcoin Interview Pickle 第一性原理 Google Tracking Logo WAN FlashAttention OCR 算法题 Linux v2ray Freesound PDB tar TSV QWEN FP16 Template git-lfs Docker Llama SQLite C++ Animate Quantize Card LeetCode Ptyhon PyCharm LaTeX Magnet Plate Miniforge 阿里云 ONNX Statistics logger uWSGI IndexTTS2 Mixtral Domain ModelScope CTC Zip HaggingFace CEIR Anaconda DeepSeek FP8 VSCode CSV RGB Data Git UI 强化学习 TensorFlow 继承 tqdm 顶会 Sklearn Markdown Baidu GIT Base64 Hungarian Pandas Permission torchinfo Math git Plotly 多线程 CLAP Heatmap News 关于博主 Paper LLAMA Django Land FP32 PIP Windows RAR CUDA TensorRT uwsgi Website Ubuntu hf Shortcut NLTK UNIX Excel Tensor Safetensors scipy Claude Dataset Use Bin transformers Firewall Qwen2 Hilton

站点统计

本站现有博文321篇,共被浏览768897次

本站已经建立2454天!

原 LLAMA Model Save with INT8 Format

作者：XD / 发表： 2023年7月31日 02:51 / 更新： 2023年7月31日 02:51 / 编程笔记 / 阅读量：1904

LLAMA Model Save with INT8 Format