EADST

Speeding Up PyTorch Model Loading

作者：XD / 发表： 2025年1月22日 21:39 / 更新： 2025年1月22日 21:39 / 编程笔记 / 阅读量：1109

Speeding Up PyTorch Model Loading

model = torch.load(path, map_location='cpu', mmap=True) # CPU
model = torch.load(path, map_location='cuda:0')  # GPU

本文作者：XD 转载请标明出处：http://www.eadst.com/blog/271

本站采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。

上一篇
PyTorch Tensor精度打印
下一篇
Transformers Demo for DeepSeek-R1-Distill-Qwen-7B
相关标签
PyTorch mmap
About Me
XD
Goals determine what you are going to be.
Category
标签云
Windows Nginx diffusers Attention FP32 Video UI Data TensorFlow Pickle Paddle Knowledge Anaconda Magnet printf Clash Image2Text COCO 飞书 SQLite Website git-lfs Diagram TTS PyTorch SPIE Numpy SQL CSV DeepStream ONNX 签证 v0.dev XGBoost Bert Django FP8 Tracking Web 阿里云 Review CV Plotly Quantize Claude HuggingFace Random Hungarian 多进程 Qwen2 Pandas Animate Git Github LaTeX Augmentation v2ray 净利润 CAM FlashAttention Paper Crawler 腾讯云 GPT4 Hotel PDB Plate uwsgi 关于博主 PDF Proxy RGB Card scipy transformers Dataset Jetson 音频 logger Tiktoken YOLO Zip NameSilo Qwen2.5 Domain Shortcut Streamlit HaggingFace LeetCode CEIR mmap IndexTTS2 Safetensors OpenAI CUDA Ptyhon Docker tar Datetime 证件照 Firewall 搞笑 Ubuntu Math Mixtral 公式 Vim CC Food RAR Pytorch JSON 算法题 继承 Tensor Markdown GoogLeNet VPN Statistics 版权 Pillow BTC PIP EXCEL Vmess Breakpoint Template LLAMA GPTQ Google VSCode Jupyter BeautifulSoup Bitcoin GIT FastAPI Algorithm uWSGI Base64 Excel Qwen Baidu XML QWEN tqdm Password ModelScope Interview Hilton WAN Translation API Miniforge Permission git SAM Bipartite FP16 FP64 DeepSeek CTC CLAP Land UNIX hf ResNet-50 Conda Freesound SVR LLM Use AI PyCharm Python 报税 Michelin VGG-16 Llama GGML Distillation Color TensorRT torchinfo Bin Input NLTK LoRA MD5 InvalidArgumentError Sklearn 域名 Cloudreve TSV Transformers ChatGPT OCR OpenCV 财报 Gemma Quantization llama.cpp NLP BF16 Disk WebCrawler Linux Logo C++ Heatmap 多线程
站点统计

本站现有博文311篇,共被浏览742258次

本站已经建立2381天!

热门文章
文章归档
回到顶部