LLAMA Model Save with INT8 Format| 东毅居士

LLAMA Model Save with INT8 Format

作者：XD / 发表： 2023年7月31日 02:51 / 更新： 2023年7月31日 02:51 / 编程笔记 / 阅读量：2276

LLAMA Model Save with INT8 Format

from transformers import BitsAndBytesConfig
from transformers import AutoModelForCausalLM

config = BitsAndBytesConfig(
    load_in_8bit=True,
)
path = "/home/llm/model/path/"
model = AutoModelForCausalLM.from_pretrained(path, device_map="cpu", quantization_config=config)
model.save_pretrained("model_save_folder-8bit")

本文作者：XD 转载请标明出处：http://www.eadst.com/blog/199

本站采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。

上一篇
Baidu Translation API Code

下一篇
Save Hugging Face Model with One Bin

Category

标签云

Hotel git-lfs Image2Text Mixtral Plate 云服务器签证 Paper LLAMA 论文速读 Diagram Vim GoogLeNet Safetensors Breakpoint 搞笑 Pillow JSON Random CEIR Pytorch XGBoost Translation Qwen Nginx Datetime Jupyter ChatGPT Paddle Claude printf 论文 YOLO RGB 第一性原理 XML Password Qwen2 Animate Jetson PIP v0.dev Pickle v2ray Linux scipy diffusers 版权财报 Land BeautifulSoup 图标 BF16 Git 腾讯云 WebCrawler PyCharm Github UNIX Freesound PDF VPN Ubuntu TensorRT C++ Input OCR OpenCV Algorithm FP32 HuggingFace Food hf CV SAM Shortcut ResNet-50 Crawler icon QWEN Bin Firewall Cloudreve NLP Google DeepSeek WAN Conda IndexTTS2 Heatmap llama.cpp Quantize Quantization 递归学习法 ModelScope uwsgi TTS uWSGI Michelin CC ONNX Color API ms-swift Agent FastAPI Python SQLite Transformers Rebuttal FlashAttention Harness LLM Base64 TensorFlow NLTK tar git Dataset VGG-16 CLAP Statistics MD5 Hilton Distillation CAM Search SPIE 报税 EXCEL transformers 飞书 Gemma 音频 Knowledge FP64 Disk Plotly Jev PyTorch PDB Math 净利润 Excel Vmess LoRA Proxy Hungarian Tiktoken Clash Magnet 公式阿里云 Zip API网关 Markdown Ptyhon Bert 图形思考法 GIT Sklearn Numpy FP16 InvalidArgumentError Web Domain Review Tracking GPT4 Miniforge Bitcoin LeetCode Django News Website Anaconda BTC VSCode Use GGML NameSilo Baidu Windows logger Augmentation Bipartite CSV 顶会关于博主域名强化学习 CTC Tensor 算法题 UI TSV SVR 多进程 Pandas Template AI COCO Card 继承 RAR CUDA Docker mmap GPTQ torchinfo 证件照 Data HaggingFace Llama Interview Permission LaTeX Qwen2.5 OpenAI Streamlit Video DeepStream Logo 多线程 SQL tqdm Attention RL FP8

站点统计

本站现有博文338篇,共被浏览969463次

本站已经建立2681天!

原 LLAMA Model Save with INT8 Format

作者：XD / 发表： 2023年7月31日 02:51 / 更新： 2023年7月31日 02:51 / 编程笔记 / 阅读量：2276

LLAMA Model Save with INT8 Format