hadoop小學生
圣騎士
圣騎士
  • 注冊日期2018-09-13
  • 發帖數144
  • QQ3234520070
  • 火幣323枚
  • 粉絲0
  • 關注0
閱讀:477回復:0

Hanlp配置自定義詞典遇到的問題與解決方法

樓主#
更多 發布于:2019-06-17 10:16
本文是整理了部分網友在配置hanlp自定義詞典時遇到的一小部分問題,同時針對這些問題,也提供另一些解決的方案以及思路。這里分享給大家學習參考。

要使用hanlp加載自定義詞典可以通過修改配置文件hanlp.properties來實現。
要注意的點是:
1.root根路徑的配置:
hanlp.properties中配置如下:
#本配置文件中的路徑的根目錄,根目錄+其他路徑=完整路徑(支持相對路徑)
#Windows用戶請注意,路徑分隔符統一使用/
root=D:/Project/public_sentiment_monitor/plugin/hanlp1.6.8/
2.自定義詞典路徑的配置,配置文件中已經指明了相應的用法。
hanlp.properties中配置如下:
#自定義詞典路徑,用;隔開多個自定義詞典,空格開頭表示在同一個目錄,使用“文件名 詞性”形式則表示這個詞典的詞性默認是該詞性。優先級遞減。
#所有詞典統一使用UTF-8編碼,每一行代表一個單詞,格式遵從[單詞] [詞性A] [A的頻次] [詞性B] [B的頻次] ... 如果不填詞性則表示采用詞典的默認詞性。
CustomDictionaryPath=data/dictionary/custom/hanlp_custom.txt; 搜狗金融詞庫.txt n; CustomDictionary.txt; 現代漢語補充詞庫.txt; 全國地名大全.txt ns; 人名詞典.txt
3.配置文件做好以后,自定義詞典不起作用問題
(1). 需要先刪除custom文件夾下的所有bin文件,然后再使用hanlp,hanlp會自動加載一個新的bin文件,自定義詞典就可以使用了。
貌似加載出的bin文件只有CustomDictionaryPath這一行配置中的第一個文件對應的bin,但是內容應該是將所有的自定義詞典都包含了的。
(2). 如果自定義詞典txt文件中存在含有空格的詞, 比如說"16 金立債 nz 100"這種配置,回導致自定義詞典加載程序將"16"認為是詞,"金立債"認為是詞性,"nz"認為是詞頻,然后出現java報錯:
java.lang.NumberFormatException: For input string: "nz"
雖然仍然生成了bin文件,但是實際上自定義詞典中的所有詞都是無法使用的。所以在生成自定義詞典txt文件的過程中,一定要注意詞中是否含有空格,是否符合"詞 詞性 詞頻"的格式。
(3)如何將含有空格的詞加入自定義詞典中:
CustomDictionary = JClass('com.hankcs.hanlp.dictionary.CustomDictionary')
CustomDictionary.add('攻城 獅')


喜歡0 評分0
DKHadoop用著還不錯!
游客

返回頂部
广东体彩26选5