hadoop小學生
精靈王
精靈王
  • 注冊日期2018-09-13
  • 發帖數160
  • QQ3234520070
  • 火幣360枚
  • 粉絲0
  • 關注0
閱讀:1396回復:0

基于hanlp的es分詞插件

樓主#
更多 發布于:2019-07-01 11:24
摘要:elasticsearch是使用比較廣泛的分布式搜索引擎,es提供了一個的單字分詞工具,還有一個分詞插件ik使用比較廣泛,hanlp是一個自然語言處理包,能更好的根據上下文的語義,人名,地名,組織機構名等來切分詞
Elasticsearch
默認分詞

圖片:圖1.jpg


輸出:

圖片:圖2.jpg


IK分詞

圖片:圖3.jpg


輸出:

圖片:圖4.jpg


自然語言處理包7

圖片:圖5.jpg


輸出:

圖片:圖6.jpg


ik分詞沒有根據句子的含義來分詞,hanlp能根據語義正確的切分出詞
安裝步驟:
1、進入https://github.com/pengcong90/elasticsearch-analysis-hanlp,下載插件并解壓到es的plugins目錄下,修改analysis-hanlp目錄下的hanlp.properties文件,修改root的屬性,值為analysis-hanlp下的data
目錄的地址
2、修改es config目錄下的jvm.options文件,最后一行添加
-Djava.security.policy=../plugins/analysis-hanlp/plugin-security.policy

重啟es
GET /_analyze?analyzer=hanlp-index&pretty=true
{
“text”:”張柏芝士蛋糕店”
}
測試是否安裝成功
analyzer有hanlp-index(索引模式)和hanlp-smart(智能模式)
自然語言處理包5
修改plugins/analysis-hanlp/data/dictionary/custom下的 我的詞典.txt文件
格式遵從[單詞] [詞性A] [A的頻次]
修改完后刪除同目錄下的CustomDictionary.txt.bin文件
重啟es服務

喜歡0 評分0
DKHadoop用著還不錯!
游客

返回頂部
广东体彩26选5