区块链技术博客
www.b2bchain.cn

spaCy 2.0:保存和加载自定义NER模型 – python程序员分享

本文介绍了spaCy 2.0:保存和加载自定义NER模型 – python程序员分享,有助于帮助完成毕业设计以及求职,是一篇很好的资料。

对技术面试,学习经验等有一些体会,在此分享。

我已经使用自定义标记器在spaCy中训练了自定义NER模型。我想保存不带分词器的NER模型。我在spaCy支持论坛中尝试了以下代码:

import spacy  nlp = spacy.load("en") nlp.tokenizer = some_custom_tokenizer # Train the NER model... nlp.tokenizer = None nlp.to_disk('/tmp/my_model', disable=['tokenizer']) 

当我尝试加载它时,管道是空的,而且令人惊讶的是,它具有默认的spaCy标记器。

nlp = spacy.blank('en').from_disk('/tmp/model', disable=['tokenizer']) 

知道如何在没有标记器的情况下加载模型,但获得完整的管道吗?谢谢

参考方案

将模型保存到磁盘后,可以使用nlp = spacy.load('/tmp/model')加载模型。显然,根据Spacy文档(https://spacy.io/usage/training#section-saving-loading)进行操作只能加载二进制数据。

使用spaCy查找单词是否在两个实体的依赖路径上 – python

我正在研究一个nlp问题,给定一个带有两个实体的句子,我需要为每个单词生成一个布尔值,指示每个单词是否位于这些实体之间的依赖路径上。例如: ‘有雾的山脊从浪涌升起’我想对每个单词进行迭代,并确定它是否在e1和e2之间的依赖路径上两个重要注意事项:-如果您想帮助我(首先感谢),请不要考虑使用和进行xml标记,我真的很感兴趣如何找到一个单词是否在任意两个给定单词…

在返回'Response'(Python)中传递多个参数 – python

我在Angular工作,正在使用Http请求和响应。是否可以在“响应”中发送多个参数。角度文件:this.http.get("api/agent/applicationaware").subscribe((data:any)… python文件:def get(request): … return Response(seriali…

Spacy如何将标记标签整体化? – python

在包含#标签(例如tweet)的句子中,spacy的令牌生成器将标签分为两个令牌:import spacy nlp = spacy.load('en') doc = nlp(u'This is a #sentence.') [t for t in doc] 输出:[This, is, a, #, sentence, .…

Python exchangelib在子文件夹中读取邮件 – python

我想从Outlook邮箱的子文件夹中读取邮件。Inbox ├──myfolder 我可以使用account.inbox.all()阅读收件箱,但我想阅读myfolder中的邮件我尝试了此页面folder部分中的内容,但无法正确完成https://pypi.python.org/pypi/exchangelib/ 参考方案 您需要首先掌握Folder的myfo…

Python GPU资源利用 – python

我有一个Python脚本在某些深度学习模型上运行推理。有什么办法可以找出GPU资源的利用率水平?例如,使用着色器,float16乘法器等。我似乎在网上找不到太多有关这些GPU资源的文档。谢谢! 参考方案 您可以尝试在像Renderdoc这样的GPU分析器中运行pyxthon应用程序。它将分析您的跑步情况。您将能够获得有关已使用资源,已用缓冲区,不同渲染状态上…

赞(0) 打赏
部分文章转自网络,侵权联系删除b2bchain区块链学习技术社区 » spaCy 2.0:保存和加载自定义NER模型 – python程序员分享
分享到: 更多 (0)

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

b2b链

联系我们联系我们