LLAMA Model Save with INT8 Format| 东毅居士

LLAMA Model Save with INT8 Format

作者：XD / 发表： 2023年7月31日 02:51 / 更新： 2023年7月31日 02:51 / 编程笔记 / 阅读量：1877

LLAMA Model Save with INT8 Format

from transformers import BitsAndBytesConfig
from transformers import AutoModelForCausalLM

config = BitsAndBytesConfig(
    load_in_8bit=True,
)
path = "/home/llm/model/path/"
model = AutoModelForCausalLM.from_pretrained(path, device_map="cpu", quantization_config=config)
model.save_pretrained("model_save_folder-8bit")

本文作者：XD 转载请标明出处：http://www.eadst.com/blog/199

本站采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。

上一篇
Baidu Translation API Code

下一篇
Save Hugging Face Model with One Bin

Category

标签云

Jupyter InvalidArgumentError Base64 图形思考法 LoRA Paddle Clash Input diffusers 音频 RAR FlashAttention API NLTK Random Bipartite SQL Permission Card 顶会 Nginx Image2Text Michelin Python 搞笑 JSON 继承 Video BTC Docker v0.dev transformers NLP Bitcoin PyCharm YOLO CEIR 版权 EXCEL VPN Agent C++ VSCode GIT WAN Augmentation Claude PDB scipy 递归学习法 DeepSeek Google tar Logo Qwen Tiktoken Django FP32 Proxy 算法题财报 LaTeX Distillation Ubuntu TTS Attention Hotel Pickle PyTorch RGB Magnet Mixtral Hilton IndexTTS2 Safetensors 第一性原理 HaggingFace Search 报税 LLAMA Conda Github Website VGG-16 Diagram BF16 签证证件照 SAM Use Pytorch CUDA ModelScope Shortcut FP64 UNIX LeetCode 腾讯云 SPIE Color Datetime Animate LLM Vmess ONNX Breakpoint Qwen2 Sklearn Zip Data 多线程 Excel uWSGI Domain CLAP TensorRT Baidu 公式 MD5 飞书多进程 OpenCV HuggingFace Vim WebCrawler CV TensorFlow GGML Web FastAPI Hungarian torchinfo Numpy llama.cpp OCR 净利润 Tensor DeepStream QWEN Transformers Quantization CC Markdown Pandas Streamlit git FP8 tqdm Ptyhon Disk Paper Linux Interview AI printf CAM Jetson 域名 Plate Firewall Review GPT4 CTC SQLite mmap 阿里云 Food COCO Freesound Crawler Dataset Cloudreve 强化学习 UI OpenAI PDF Quantize ResNet-50 Anaconda Land Knowledge Bin Pillow Gemma FP16 Bert Algorithm GoogLeNet XML Heatmap hf v2ray logger Qwen2.5 git-lfs Tracking Windows SVR ChatGPT NameSilo Password GPTQ TSV CSV Git PIP Translation Llama XGBoost Template BeautifulSoup Math 关于博主 Plotly Statistics Miniforge uwsgi

站点统计

本站现有博文319篇,共被浏览751687次

本站已经建立2408天!

原 LLAMA Model Save with INT8 Format

作者：XD / 发表： 2023年7月31日 02:51 / 更新： 2023年7月31日 02:51 / 编程笔记 / 阅读量：1877

LLAMA Model Save with INT8 Format