您现在的位置是:首页 > 正文

下载bert的预训练模型并加载训练教程

2024-04-01 00:17:50阅读 0

下载bert的预训练模型并加载训练

step1: 进入网址 https://huggingface.co 搜索自己需要的模型名(下面以bert-base-uncased 为例)

step2: 在如下的界面中,找到Files and versions,下载如下三个红框中的内容即可。(这里以下载pytorch版的模型为例)

image-20230515123348511

step3: 将上述下载好的内容放到/bert-base-uncased文件夹下。那么就可以在程序中这么用:

from transformers import BertModel, BertTokenizer

# 加载预训练的BERT模型和对应的分词器
model_name = 'bert-base-uncased'
tokenizer = BertTokenizer.from_pretrained(model_name)
model = BertModel.from_pretrained(model_name)

# 使用模型和分词器进行文本处理和编码
text = "Hello, how are you?"
tokens = tokenizer.tokenize(text)
input_ids = tokenizer.convert_tokens_to_ids(tokens)

print(tokens)
print(input_ids)

输出:

['hello', ',', 'how', 'are', 'you', '?']
[7592, 1010, 2129, 2024, 2017, 1029]

在这个示例中,我们首先使用 BertTokenizer.from_pretrained() 加载了预训练的BERT模型的分词器,并将其赋值给变量 tokenizer。然后,使用 BertModel.from_pretrained() 加载预训练的BERT模型本身,并将其赋值给变量 model

接下来,我们使用 tokenizer.tokenize() 将文本进行分词处理,得到一个标记化的单词列表。然后,使用 tokenizer.convert_tokens_to_ids() 将标记化的单词转换为对应的词汇表索引。

请注意,上述示例中的代码假设您已经安装了Hugging Face Transformers库,并已正确导入相关的包和模块。

通过这些步骤,您可以加载预训练的BERT模型,并使用它进行文本处理和编码。根据具体的任务和需求,您可以进一步调整和使用BERT模型的输出。

网站文章

  • G1分配大内存测试

    package org.ziegler.gc; /** * VM参数:-XX:+UseG1GC -Xms20M -Xmx20M -Xmn10M -Xlog:gc* -XX:SurvivorRatio=...

    2024-04-01 00:17:41
  • SSM框架的使用(下)

    SSM框架的使用(下)

    SSM框架的使用(下)回顾与上次的配置中我们成功的将spring 与 mybatis进行了整合,并成功的读取到我们存储在数据中的信息。想要查看之前的操作请点击SSM框架使用下我们继续完成之前没有准备好的操作1. 配置文件上次我们剩下一个springmvc-servlet.xml这个配置文件,其实除了这个配置文件之外,还有一个配置文件——web.xml。web.xml这个配置文件位于We...

    2024-04-01 00:17:32
  • 协方差矩阵 多元高斯分布

    协方差矩阵 多元高斯分布

    协方差矩阵对于一维随机变量直接用方差即可衡量随机变量x与其期望E(x)的偏离程度,对于多维随机变量X,需要用一个矩阵来表示偏离程度,矩阵的对角线是每个维度自己的方差,对角线以外表示不同的维度之间的协方...

    2024-04-01 00:17:09
  • JAVA线程池

    JAVA线程池

    目录池的思想JDK中线程池的使用线程池的核心父接口ExecutorService ThreadPoolExecutor子类的核心构造方法参数

    2024-04-01 00:17:03
  • 影响未来十年的10项互联网新技术

    影响未来十年的10项互联网新技术

    影响未来十年的10项互联网新技术 最近InfoWorld网站公布了可能影响未来十年的十项新技术。虽然每个人的观点会有不同,但是我们相信,这十项新技术足以代表大部分的观点,同时也可以确信在未来几年这十项技术能给我们生活带来翻天覆地的变化。1.私有云技术IT经理可以借由公共云提供商首创的技术和架构,并把它们应用到自己的数据中心。私有云,往往有许多移动部件,包括虚拟化管理...

    2024-04-01 00:16:55
  • Ubuntu 安装lnmp+nginx 访问 .php文件变成下载

    Ubuntu 安装lnmp+nginx 访问 .php文件变成下载

    安装NGINXsudo apt-get update#更新源sudo apt-get install nginx #安装nginxsudo service nginx start #启动nginx安装PHPsudo apt-add-repository ppa:ondrej/phpsudo apt-get updatesudo apt-get install php7.2 php7...

    2024-04-01 00:16:31
  • 【华为OD机试】硬件产品销售方案

    某公司目前推出了AI开发者套件,AI加速卡,AI加速模块,AI服务器,智能边缘多种硬件产品,每种产品包含若干个型号。现某合作厂商要采购金额为amount元的硬件产品搭建自己的AI基座。例如当前库存有N种产品,每种产品的库存量充足,给定每种产品的价格,记为price(不存在价格相同的产品型号)。请为合作厂商列出所有可能的产品组合。

    2024-04-01 00:16:23
  • js计算两个时间相差的天数

    js计算日期之间相差天数

    2024-04-01 00:16:16
  • RPC简介

    RPC简介

    RPC简介 一、为什么要有RPC 随着项目业务越来越复杂,业务量越来越大,单个应用或者一台机器的资源肯定是背负不起的。那现在应该怎么做?将核心业务抽取出来,作为独立的服务,放到其他服务器上或者形成集群...

    2024-04-01 00:15:45
  • 设计模式中之七大原则

    设计模式中之七大原则

    目录前言七大原则单一职责原则注意事项和细节接口隔离原则依赖倒转原则依赖关系传递的三种方式注意事项和细节前言本文为尚硅谷韩顺平老师的 Java 设计模式课程的笔记。七大原则单一职责原则接口隔离原则依赖倒...

    2024-04-01 00:15:37