LLAMA Model Save with INT8 Format| 东毅居士

LLAMA Model Save with INT8 Format

作者：XD / 发表： 2023年7月31日 02:51 / 更新： 2023年7月31日 02:51 / 编程笔记 / 阅读量：2192

LLAMA Model Save with INT8 Format

from transformers import BitsAndBytesConfig
from transformers import AutoModelForCausalLM

config = BitsAndBytesConfig(
    load_in_8bit=True,
)
path = "/home/llm/model/path/"
model = AutoModelForCausalLM.from_pretrained(path, device_map="cpu", quantization_config=config)
model.save_pretrained("model_save_folder-8bit")

本文作者：XD 转载请标明出处：http://www.eadst.com/blog/199

本站采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。

上一篇
Baidu Translation API Code

下一篇
Save Hugging Face Model with One Bin

Category

标签云

Ubuntu DeepSeek SQL Qwen2.5 Claude Base64 v2ray Card WAN Llama Python printf Tracking 域名 Ptyhon logger 多线程 Input BTC TensorRT Bin Google Bert Transformers HuggingFace VGG-16 Augmentation 递归学习法 RL ChatGPT Magnet Permission transformers Domain 腾讯云论文 UNIX Streamlit ms-swift 净利润 ResNet-50 Animate Plotly git-lfs Pytorch FP8 GPTQ Pillow C++ tar TensorFlow Rebuttal uWSGI UI LeetCode Excel OCR uwsgi FastAPI llama.cpp Firewall Windows QWEN IndexTTS2 LLAMA Bipartite Pandas WebCrawler CSV PyCharm InvalidArgumentError icon Zip torchinfo Paper Web CTC Hilton GGML FlashAttention v0.dev Interview Distillation LoRA Pickle Quantization 图标 Website Attention Baidu NLTK YOLO 版权 Disk Jupyter Datetime OpenCV Django RAR 继承 Conda CLAP TSV Michelin tqdm 签证 GPT4 FP16 阿里云 Gemma scipy Nginx Mixtral XML Numpy Video Land Password ONNX Food Tensor Clash 第一性原理 Template MD5 GIT Bitcoin Logo Git Data hf SPIE Cloudreve SAM Markdown 证件照 Linux Search API Review CC 音频 Crawler PIP OpenAI Sklearn git Freesound HaggingFace Random Github Vim 财报 PDB TTS NameSilo 顶会 CAM AI 多进程 LLM XGBoost 报税 Image2Text ModelScope Hotel LaTeX BF16 mmap CUDA GoogLeNet Vmess Dataset Use Algorithm FP64 JSON 飞书 DeepStream 算法题公式论文速读 diffusers CV 关于博主搞笑 Anaconda Tiktoken BeautifulSoup Knowledge Qwen2 Jetson 强化学习 Miniforge NLP FP32 SVR CEIR Statistics Quantize EXCEL News Heatmap Hungarian COCO Color Docker Paddle Proxy Shortcut PDF VPN Safetensors 图形思考法 RGB Breakpoint SQLite VSCode PyTorch Math Translation Plate Diagram 云服务器 Qwen Agent

站点统计

本站现有博文333篇,共被浏览925610次

本站已经建立2632天!

原 LLAMA Model Save with INT8 Format

作者：XD / 发表： 2023年7月31日 02:51 / 更新： 2023年7月31日 02:51 / 编程笔记 / 阅读量：2192

LLAMA Model Save with INT8 Format