LLAMA Model Save with INT8 Format| 东毅居士

LLAMA Model Save with INT8 Format

作者：XD / 发表： 2023年7月31日 02:51 / 更新： 2023年7月31日 02:51 / 编程笔记 / 阅读量：1865

LLAMA Model Save with INT8 Format

from transformers import BitsAndBytesConfig
from transformers import AutoModelForCausalLM

config = BitsAndBytesConfig(
    load_in_8bit=True,
)
path = "/home/llm/model/path/"
model = AutoModelForCausalLM.from_pretrained(path, device_map="cpu", quantization_config=config)
model.save_pretrained("model_save_folder-8bit")

本文作者：XD 转载请标明出处：http://www.eadst.com/blog/199

本站采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。

上一篇
Baidu Translation API Code

下一篇
Save Hugging Face Model with One Bin

Category

标签云

Linux WebCrawler 版权 Clash scipy HaggingFace mmap Crawler NLTK 多线程 Base64 域名 llama.cpp Tiktoken QWEN MD5 Docker GoogLeNet Card 飞书 AI XGBoost Qwen2.5 logger Animate OpenCV Web Magnet CEIR Bert Nginx Shortcut uWSGI Bitcoin 公式 ChatGPT Proxy C++ Attention Breakpoint Datetime SQL Pickle PDB GPT4 Claude GPTQ Color Zip Hotel BF16 OpenAI Hilton CTC hf Input Domain Distillation 搞笑 Pytorch Image2Text FP64 Anaconda torchinfo Freesound Cloudreve Python NameSilo 腾讯云 ONNX Diagram Git LeetCode 多进程 OCR Ubuntu RGB FastAPI PyTorch Vim Ptyhon IndexTTS2 Bipartite 签证 Django CC NLP 净利润证件照 YOLO WAN XML FP32 Augmentation TSV Github Windows Website Bin diffusers Video SQLite Template Land Disk Pillow VSCode Transformers Jetson transformers LLM Tensor Hungarian FlashAttention tqdm Review Plate v2ray Gemma Baidu Pandas Password CSV Paper FP8 Food Knowledge PIP Math GGML TTS Streamlit Data PyCharm HuggingFace EXCEL Markdown 音频 Conda TensorFlow SVR PDF JSON Jupyter LaTeX Permission 关于博主 Statistics InvalidArgumentError Translation LoRA Vmess Michelin printf Llama 报税 Numpy Interview v0.dev FP16 Quantization CUDA API Random VPN Quantize 算法题 tar ModelScope uwsgi COCO SPIE Excel VGG-16 Safetensors Heatmap Plotly DeepSeek SAM Use BeautifulSoup git Algorithm CLAP ResNet-50 TensorRT Mixtral UNIX 财报 git-lfs Firewall Tracking Google CV BTC Qwen2 Logo Paddle Sklearn UI Dataset DeepStream CAM GIT Qwen RAR 继承阿里云 Miniforge LLAMA

站点统计

本站现有博文311篇,共被浏览742109次

本站已经建立2381天!

原 LLAMA Model Save with INT8 Format

作者：XD / 发表： 2023年7月31日 02:51 / 更新： 2023年7月31日 02:51 / 编程笔记 / 阅读量：1865

LLAMA Model Save with INT8 Format