LLAMA Model Save with INT8 Format| 东毅居士

LLAMA Model Save with INT8 Format

作者：XD / 发表： 2023年7月31日 02:51 / 更新： 2023年7月31日 02:51 / 编程笔记 / 阅读量：2133

LLAMA Model Save with INT8 Format

from transformers import BitsAndBytesConfig
from transformers import AutoModelForCausalLM

config = BitsAndBytesConfig(
    load_in_8bit=True,
)
path = "/home/llm/model/path/"
model = AutoModelForCausalLM.from_pretrained(path, device_map="cpu", quantization_config=config)
model.save_pretrained("model_save_folder-8bit")

本文作者：XD 转载请标明出处：http://www.eadst.com/blog/199

本站采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。

上一篇
Baidu Translation API Code

下一篇
Save Hugging Face Model with One Bin

Category

标签云

Jupyter 腾讯云 Plotly Paddle 多进程继承 FlashAttention Bin NLTK tqdm Qwen v0.dev diffusers Ptyhon Search VPN ONNX Pandas YOLO FP64 CLAP Knowledge 关于博主 News uwsgi Excel Markdown Card Docker Mixtral Color 报税阿里云 NameSilo NLP Rebuttal VSCode Vmess ModelScope Firewall Baidu PDF Jetson 版权 Safetensors BeautifulSoup DeepStream Input Gemma Attention Permission InvalidArgumentError XML LeetCode CC Datetime Bert 论文 Tensor OpenCV RAR TTS UNIX Claude RL hf torchinfo Bitcoin Quantize CUDA LoRA EXCEL 论文速读多线程 CV v2ray Pillow git-lfs CTC 算法题 DeepSeek GPTQ Statistics ResNet-50 GIT Animate Random TSV 强化学习 Heatmap 递归学习法 icon Clash Dataset Bipartite llama.cpp BTC Password 云服务器 Agent Tracking ms-swift Domain PyCharm Crawler 第一性原理 VGG-16 Proxy transformers FP8 Pickle 财报音频 Review Git UI Interview Anaconda TensorFlow Web C++ Plate Freesound FastAPI Zip 证件照 Numpy Google Image2Text 搞笑净利润 Streamlit RGB Website Shortcut WebCrawler Video LLAMA 签证 Quantization GoogLeNet Hotel FP32 Windows 图形思考法 Conda Pytorch JSON Vim 域名 HaggingFace Python CAM HuggingFace Django Transformers MD5 COCO OpenAI PIP Translation git TensorRT ChatGPT Logo scipy CSV Breakpoint Paper AI Linux CEIR Qwen2 飞书 Magnet Base64 printf GPT4 PyTorch Land Cloudreve SQL logger SVR Algorithm Template XGBoost mmap LaTeX Ubuntu Math Nginx GGML Sklearn Llama Qwen2.5 tar SAM Use Hungarian IndexTTS2 Tiktoken Distillation Diagram BF16 Food Miniforge SPIE WAN PDB 顶会 FP16 OCR Augmentation Data Disk Michelin API SQLite 公式 uWSGI LLM Hilton 图标 Github QWEN

站点统计

本站现有博文332篇,共被浏览888846次

本站已经建立2591天!

原 LLAMA Model Save with INT8 Format

作者：XD / 发表： 2023年7月31日 02:51 / 更新： 2023年7月31日 02:51 / 编程笔记 / 阅读量：2133

LLAMA Model Save with INT8 Format