LLAMA Model Save with INT8 Format| 东毅居士

LLAMA Model Save with INT8 Format

作者：XD / 发表： 2023年7月31日 02:51 / 更新： 2023年7月31日 02:51 / 编程笔记 / 阅读量：1973

LLAMA Model Save with INT8 Format

from transformers import BitsAndBytesConfig
from transformers import AutoModelForCausalLM

config = BitsAndBytesConfig(
    load_in_8bit=True,
)
path = "/home/llm/model/path/"
model = AutoModelForCausalLM.from_pretrained(path, device_map="cpu", quantization_config=config)
model.save_pretrained("model_save_folder-8bit")

本文作者：XD 转载请标明出处：http://www.eadst.com/blog/199

本站采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。

上一篇
Baidu Translation API Code

下一篇
Save Hugging Face Model with One Bin

Category

标签云

printf Windows FastAPI Shortcut UI BeautifulSoup 顶会 Permission CC News DeepStream Plotly Quantization SAM CAM Vmess Bin Land uWSGI Vim SQL 阿里云 Tensor Review Conda GPTQ Markdown ChatGPT FP64 Safetensors Firewall Augmentation CUDA TSV SQLite tar VSCode Crawler uwsgi Interview Web LLAMA Translation 净利润 Git Quantize Hungarian torchinfo Statistics ModelScope Video 多线程 Distillation Food 算法题公式 Datetime Use Mixtral 云服务器图标 Streamlit LLM RGB Password NLP Base64 Miniforge Random CLAP Data Claude IndexTTS2 音频 llama.cpp Llama Django 报税 CTC FP32 Heatmap Domain 搞笑 PIP PyCharm YOLO 版权 Qwen2 COCO Paper API VGG-16 transformers LoRA PDF VPN 继承 Github tqdm Tiktoken ONNX Plate Algorithm Bitcoin JSON MD5 LeetCode Anaconda Paddle FP16 NameSilo CV mmap WebCrawler RAR Card EXCEL Website Pickle BF16 Nginx WAN Knowledge Jetson XGBoost Ptyhon Dataset Linux OpenCV Diagram UNIX HaggingFace Search C++ 域名 GIT Gemma Hilton logger diffusers DeepSeek Ubuntu CSV Michelin Rebuttal BTC SVR QWEN Bipartite NLTK Jupyter TTS Qwen2.5 FlashAttention Hotel InvalidArgumentError 强化学习 git TensorRT Agent 财报 Pytorch 飞书 Sklearn v2ray Pandas 腾讯云 Magnet hf 签证 GoogLeNet 图形思考法多进程 Numpy Baidu Zip PDB 证件照 Python Excel Math TensorFlow Cloudreve HuggingFace GGML Pillow Qwen CEIR LaTeX Disk Animate SPIE Clash Google XML Attention Input Proxy ResNet-50 Template PyTorch scipy OpenAI 递归学习法 AI 第一性原理 Color Bert Image2Text FP8 Transformers Breakpoint GPT4 Logo OCR Tracking 关于博主 Freesound icon git-lfs Docker v0.dev

站点统计

本站现有博文323篇,共被浏览800719次

本站已经建立2499天!

原 LLAMA Model Save with INT8 Format

作者：XD / 发表： 2023年7月31日 02:51 / 更新： 2023年7月31日 02:51 / 编程笔记 / 阅读量：1973

LLAMA Model Save with INT8 Format