Bert-Small Pytorch Model
作者:XD / 发表: 2023年5月6日 03:56 / 更新: 2023年5月6日 03:56 / 编程笔记 / 阅读量:944
Bert-Small Pytorch Model
from transformers import AutoModel
from transformers import AutoConfig
model_name = "google/bert_uncased_L-4_H-512_A-8"
config = AutoConfig.from_pretrained(model_name)
self.model = AutoModel.from_pretrained(model_name, add_pooling_layer=False, config=config)