Quick Review: SmoothQuant: Accurate and Efficient Post-Training Quantization for LLMs| 东毅居士

Quick Review: SmoothQuant: Accurate and Efficient Post-Training Quantization for LLMs

作者：XD / 发表： 2023年12月7日 00:45 / 更新： 2023年12月7日 00:57 / 科研学习 / 阅读量：2484

SmoothQuant: Accurate and Efficient Post-Training Quantization for Large Language Models

Paper: SmoothQuant on arXiv
Code: SmoothQuant on GitHub
Organization: MIT

Highlight:

Hyper-parameter for Outliers: Implements a novel approach using a specific hyper-parameter to manage outliers effectively during the quantization process.

本文作者：XD 转载请标明出处：http://www.eadst.com/blog/229

本站采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。

上一篇
Quick Review: AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration

下一篇
Setting Up v2rayNG with Tencent Cloud Silicon Valley Lighthouse

Category

标签云

Quantize AI Clash Shortcut CSV Food Password Vmess Pickle git-lfs TensorRT Heatmap XML Template Disk Color transformers Zip Tiktoken Crawler 递归学习法 GPTQ PDB C++ 多进程 Datetime QWEN Anaconda Domain FlashAttention Math Animate Agent ONNX Land torchinfo Card 公式 hf Vim BF16 RAR Pytorch Baidu Conda 腾讯云 icon PDF Llama 自我改进关于博主 Quantization Windows diffusers Augmentation Interview Gemma Data Cloudreve TensorFlow 长期记忆 Permission Review Google Docker Ptyhon Markdown Diagram tqdm logger FP8 Excel Jetson EXCEL Image2Text CAM Miniforge LaTeX Hungarian Pandas 强化学习 API Video RL XGBoost Rebuttal 图标签证 Qwen2 Django Transformers PyCharm Streamlit OpenAI Algorithm Plotly Knowledge LoRA LLM HaggingFace DeepSeek FP16 音频 CC 第一性原理 llama.cpp GPT4 scipy CLAP Qwen2.5 SVR TSV 阿里云 Web 论文速读 CV SAM News 净利润 GIT Search Jev PIP Paddle Mixtral uWSGI SQL 顶会 Hilton 多线程 Distillation Python UNIX Nginx GGML DeepStream 财报 IndexTTS2 Statistics YOLO FP64 BTC Github VSCode WAN 飞书 Paper NameSilo Breakpoint Dataset InvalidArgumentError 域名 NLTK TTS Proxy printf SQLite ms-swift OCR Bitcoin VGG-16 mmap Translation uwsgi ResNet-50 GoogLeNet CEIR Input COCO Logo Bin Jupyter Safetensors LeetCode Qwen WebCrawler 证件照 Bipartite Freesound 图形思考法 Linux 版权 Use PyTorch 继承云服务器 Random Ubuntu OpenCV NLP Michelin 报税 UI 论文 v0.dev SPIE Hotel Base64 Website MD5 FastAPI API网关 git Claude Attention ModelScope RGB Sklearn Magnet Bert Harness ChatGPT Firewall Tensor tar 算法题 Numpy VPN 搞笑 JSON Git Plate v2ray Tracking Pillow BeautifulSoup LLAMA FP32 CTC CUDA HuggingFace

站点统计

本站现有博文339篇,共被浏览1000843次

本站已经建立2711天!

原 Quick Review: SmoothQuant: Accurate and Efficient Post-Training Quantization for LLMs

作者：XD / 发表： 2023年12月7日 00:45 / 更新： 2023年12月7日 00:57 / 科研学习 / 阅读量：2484

SmoothQuant: Accurate and Efficient Post-Training Quantization for Large Language Models

Highlight:

Quick Review: SmoothQuant: Accurate and Efficient Post-Training Quantization for LLMs