-
前幾天（6月28日），在第23屆中國國際軟件博覽會上，hanlp這款自然語言處理工具榮獲了“2019年第二十三屆中國國際軟件博覽會優秀產品”。HanLP是由一... 全文
07-03 10:51 來自版塊 - 網絡技術
-
摘要：elasticsearch是使用比較廣泛的分布式搜索引擎，es提供了一個的單字分詞工具，還有一個分詞插件ik使用比較廣泛，hanlp是一個自然語言處理包，能更好的根據上下文的語義，人名，地名，組織機構名等來切分詞Elasticsearch默認分詞 全文
07-01 11:24 來自版塊 - 網絡技術
-
繁簡轉換HanLP幾乎實現了所有我們需要的繁簡轉換方式，并且已經封裝到了HanLP中，使得我們可以輕松的使用，而分詞器中已經默認支持多種繁簡格式或者混合。這里我們不再做過多描述。 ·說明· HanLP能夠識別簡繁分歧詞，比如打印機=印表機。許多簡繁轉換工具不能區分“以后”“皇后”... 全文
06-28 10:06 來自版塊 - 網絡技術
-
基于字標注法的分詞中文分詞字標注通常有2-tag,4-tag和6-tag這幾種方法，其中4-tag方法最為常用。標注集是依據漢字（其中也有少量的非漢字字符）在漢語詞中的位置設計的。1. 2-tag法 2-tag是一種最簡單的標注方法,標注集合為{B,I}，其將詞首標記設計為B，而... 全文
06-26 10:52 來自版塊 - 網絡技術
-
中文分詞是中文文本處理的一個基礎步驟，也是中文人機自然語言交互的基礎模塊，不同于英文的是，中文句子中沒有詞的界限，因此在進行中文自然語言處理時，通常需要先進行分詞，分詞效果將直接影響詞性，句法樹等模塊的效果，當然分詞只是一個工具，場景不同，要求也不同。在人機自然語言交互中，成熟的... 全文
06-24 10:37 來自版塊 - 網絡技術
-
一、Ansj1、利用DicAnalysis可以自定義詞庫： 2、但是自定義詞庫存在局限性，導致有些情況無效：比如：“不好用“的正常分詞結果：“不好，用”。 （1）當自定義詞庫”好用“時，詞庫無效，分詞結果不變。（2）當自定義詞庫“不好用”時，分詞... 全文
06-21 13:59 來自版塊 - 網絡技術
-
分詞工具的選擇： 現在對于中文分詞，分詞工具有很多種，比如說：jieba分詞、thulac、SnowNLP等。在這篇文檔中，筆者使用的jieba分詞，并且基于python3環境，選擇jieba分詞的理由是其比較簡單易學，容易上手，并且分詞效果還很不錯。 分詞前的準備：待分詞的中... 全文
06-19 10:34 來自版塊 - 網絡技術
-
本文是整理了部分網友在配置hanlp自定義詞典時遇到的一小部分問題，同時針對這些問題，也提供另一些解決的方案以及思路。這里分享給大家學習參考。要使用hanlp加載自定義詞典可以通過修改配置文件hanlp.properties來實現。要注意的點是: 1.root根路徑的配置: ha... 全文
06-17 10:16 來自版塊 - 網絡技術
-
最近發現一個很勤快的大神在分享他的一些實操經驗，看了一些他自己關于hanlp方面的文章，寫的挺好的！轉載過來分享給大家！以下為分享原文（無意義的內容已經做了刪除）如下圖所示，HanLP的分類模塊中單獨封裝了適用分類的分詞器，當然這些分詞器都是對HanLP提供的分詞器的封裝。分類模... 全文
06-14 11:02 來自版塊 - 網絡技術
-
概述 本文都是基于elasticsearch安裝教程 中的elasticsearch安裝目錄(/opt/environment/elasticsearch-6.4.0)為范例環境準備·全新最小化安裝的centos 7.5·elasticsearch 6.4.0認識中文分詞器... 全文
06-12 10:25 來自版塊 - 網絡技術
-
今天介紹的內容是最短路徑分詞。最近換回了thinkpad x1，原因是mac的13.3寸的屏幕看代碼實在是不方便，也可能是人老了吧，^_^。等把HanLP詞法分析介紹結束后，還是會換回macbook pro的。個人有強迫癥，只要看或寫Java或C/C++代碼或者用開發機的化，還是... 全文
06-05 11:16 來自版塊 - 網絡技術
-
一．中文分詞 二．準確率評測：THULAC：與代表性分詞軟件的性能對比我們選擇LTP-3.2.0 、ICTCLAS(2015版) 、jieba(C++版)等國內具代表性的分詞軟件與THULAC做性能比較。我們選擇Windows作為測試環境，根據第二屆國際漢語分... 全文
06-03 10:53 來自版塊 - 網絡技術
-
一、中文分詞工具（1）Jieba （2）snowNLP分詞工具 （3）thulac分詞工具 （4）pynlpir 分詞工具（5）StanfordCoreNLP分詞工具1.from stanfo... 全文
05-31 11:31 來自版塊 - 網絡技術
-
以下分詞工具均能在Python環境中直接調用（排名不分先后）。1、jieba（結巴分詞） 免費使用2、HanLP（漢語言處理包） 免費使用3、SnowNLP（中文的類庫） 免費使用4、FoolNLTK（中文處理工具包） 免費使用5、Jiagu（甲骨NLP） 免費使用6、pyltp... 全文
05-29 09:55 來自版塊 - 網絡技術
-
在進行文本分類（非情感分類）時，我們經常只保留實詞（名、動、形）等詞，為了文本分類的分詞方便，HanLP專門提供了實詞分詞器類NotionalTokenizer，同時在分類數據集加載處理時，默認使用了NotionalTokenizer分詞器。在HanLPJava版代碼庫中可以查看... 全文
05-27 10:36 來自版塊 - 網絡技術
05-24 10:46 來自版塊 - 網絡技術
-
停用詞表的修改停用詞表在“pyhanlp\static\data\dictionary”路徑下的“stopwords.txt”文件中，CoreStopWordDictionary.apply方法支持去除停用詞。如果需要修改停用詞表，則直接編輯文件“stopwords.txt”，之... 全文
05-22 11:25 來自版塊 - 網絡技術
-
關于hanlp的文章已經分享過很多，似乎好像大部分以理論性的居多。最近有在整理一些hanlp應用項目中的文章，待整理完成后會陸續分享出來。本篇分享的依然是由baiziyu 分享的一篇文章，感興趣的可以在知乎上關注下他的專欄，寫的還是挺好的！以下為文章的主要內容：自定義詞表的修改自... 全文
05-20 10:12 來自版塊 - 網絡技術
-
Pyhanlp分詞與詞性標注的相關內容記得此前是有分享過的。可能時間太久記不太清楚了。以下文章是分享自“baiziyu”所寫（小部分內容有修改），供大家學習參考之用。簡介pyhanlp是HanLP的Python接口。因此后續所有關于pyhanlp的文章中也會寫成HanLP。Han... 全文
05-18 10:28 來自版塊 - 網絡技術
05-17 10:07 來自版塊 - 網絡技術
