LLAMA Model Save with INT8 Format| 东毅居士

LLAMA Model Save with INT8 Format

作者：XD / 发表： 2023年7月31日 02:51 / 更新： 2023年7月31日 02:51 / 编程笔记 / 阅读量：1972

LLAMA Model Save with INT8 Format

from transformers import BitsAndBytesConfig
from transformers import AutoModelForCausalLM

config = BitsAndBytesConfig(
    load_in_8bit=True,
)
path = "/home/llm/model/path/"
model = AutoModelForCausalLM.from_pretrained(path, device_map="cpu", quantization_config=config)
model.save_pretrained("model_save_folder-8bit")

本文作者：XD 转载请标明出处：http://www.eadst.com/blog/199

本站采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。

上一篇
Baidu Translation API Code

下一篇
Save Hugging Face Model with One Bin

Category

标签云

Qwen2.5 TensorRT Hotel v2ray IndexTTS2 Sklearn VSCode XML Tracking CSV ChatGPT LaTeX SQL FP8 FP64 Proxy FastAPI VPN 版权第一性原理 Translation Disk 继承顶会 Agent Plotly 域名 Quantization LLAMA Land News Pandas Datetime UNIX HuggingFace Data Attention Math Django Diagram Bipartite Website PIP YOLO Tensor Knowledge GPT4 Bitcoin Bert CLAP icon QWEN CUDA Git 强化学习 Claude Use LeetCode 关于博主 Password Markdown Gemma Algorithm OpenAI llama.cpp GoogLeNet Dataset 飞书 logger Numpy Rebuttal Card Food Linux mmap NLTK 报税 WAN Magnet Shortcut Anaconda OpenCV GIT FlashAttention RAR 公式 ResNet-50 Image2Text CAM FP16 Qwen TTS C++ Miniforge torchinfo Heatmap Docker XGBoost 图标 Pytorch 证件照 Freesound tar HaggingFace Input 图形思考法 Color scipy DeepSeek tqdm Distillation Michelin Random Web Template Search Qwen2 财报 Baidu Python uWSGI Llama printf CEIR Tiktoken CV Paddle BeautifulSoup UI COCO OCR Clash Windows PDB Interview Quantize EXCEL uwsgi BF16 git VGG-16 Pickle MD5 算法题 Excel 签证 SPIE Ubuntu Cloudreve Logo diffusers Ptyhon Conda Nginx TensorFlow AI FP32 音频 hf CTC DeepStream 腾讯云阿里云多进程 Augmentation git-lfs Review Paper 云服务器 SVR Domain PyCharm Github GGML PyTorch LLM WebCrawler CC RGB Hilton LoRA Google Video ONNX InvalidArgumentError Pillow Vmess Firewall SAM Base64 API Plate Mixtral transformers Crawler PDF Vim BTC Breakpoint GPTQ NLP Hungarian 净利润 TSV JSON Streamlit Animate Zip Safetensors Jetson Bin Permission Jupyter ModelScope v0.dev Transformers 多线程 NameSilo SQLite Statistics 递归学习法搞笑

站点统计

本站现有博文323篇,共被浏览800656次

本站已经建立2499天!

原 LLAMA Model Save with INT8 Format

作者：XD / 发表： 2023年7月31日 02:51 / 更新： 2023年7月31日 02:51 / 编程笔记 / 阅读量：1972

LLAMA Model Save with INT8 Format