LLAMA Model Save with INT8 Format| 东毅居士

LLAMA Model Save with INT8 Format

作者：XD / 发表： 2023年7月31日 02:51 / 更新： 2023年7月31日 02:51 / 编程笔记 / 阅读量：2163

LLAMA Model Save with INT8 Format

from transformers import BitsAndBytesConfig
from transformers import AutoModelForCausalLM

config = BitsAndBytesConfig(
    load_in_8bit=True,
)
path = "/home/llm/model/path/"
model = AutoModelForCausalLM.from_pretrained(path, device_map="cpu", quantization_config=config)
model.save_pretrained("model_save_folder-8bit")

本文作者：XD 转载请标明出处：http://www.eadst.com/blog/199

本站采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。

上一篇
Baidu Translation API Code

下一篇
Save Hugging Face Model with One Bin

Category

标签云

Shortcut Jetson Domain CC CV Streamlit Paddle HuggingFace torchinfo COCO OpenCV Baidu printf Nginx Disk Vim Bert Card PIP Conda 证件照 Qwen2 IndexTTS2 Agent Excel Crawler 多线程 GPTQ git Color EXCEL Github GPT4 DeepSeek v2ray YOLO Translation XGBoost Diagram OpenAI XML NameSilo 论文速读 uWSGI Heatmap Animate Freesound Food git-lfs Data FP16 Attention Llama Safetensors Quantization C++ Bitcoin RAR UNIX 签证 NLP GoogLeNet Git 财报 WebCrawler tqdm ONNX Dataset 腾讯云 VSCode 继承 Land Random Miniforge 强化学习 Search Algorithm Docker 多进程图标 GIT Video ModelScope Python SQLite Template 版权 logger QWEN Pytorch Breakpoint Permission PyTorch uwsgi 音频 LoRA MD5 Cloudreve LaTeX FastAPI CUDA Logo scipy llama.cpp Vmess Tensor BF16 Pickle Paper GGML Transformers Markdown 关于博主 Tracking CEIR CAM Django API FlashAttention Rebuttal v0.dev Hotel RL 公式 Math Qwen2.5 InvalidArgumentError Pandas WAN VPN Zip Knowledge Google Michelin Password FP64 算法题 mmap SQL Windows CLAP HaggingFace VGG-16 AI Numpy 云服务器 Datetime 阿里云 Plate Hungarian RGB Use Qwen SAM CTC FP32 TTS Input SPIE TSV Bipartite PDB Anaconda Sklearn 论文 LLM 图形思考法递归学习法 TensorFlow transformers Linux FP8 Image2Text Proxy Augmentation 飞书搞笑 Jupyter PyCharm Firewall icon BeautifulSoup Clash 净利润 Claude Interview hf ResNet-50 Plotly Base64 Pillow Quantize LeetCode Mixtral tar Hilton 域名 SVR diffusers LLAMA ChatGPT OCR Website Ptyhon PDF 第一性原理 Distillation Review Web Magnet Bin News 顶会 Tiktoken TensorRT Statistics Ubuntu DeepStream 报税 UI NLTK Gemma JSON CSV ms-swift BTC

站点统计

本站现有博文333篇,共被浏览909471次

本站已经建立2612天!

原 LLAMA Model Save with INT8 Format

作者：XD / 发表： 2023年7月31日 02:51 / 更新： 2023年7月31日 02:51 / 编程笔记 / 阅读量：2163

LLAMA Model Save with INT8 Format