A5下载文章资讯

分类分类

C语言高性能中文分词器friso1.6.1 发布

2014-07-23 15:00作者:qazwsxzxc

Friso是使用c语言开发的一款开源中文分词器,使用流行的mmseg算法实现。完全基于模块化设计和实现,可以很方便的植入其他程序中,例如:MySQL,PHP,源码无需修改就能在各种平台下编译使用,同时支持对UTF-8/GBK编码的切分.

friso-1.6.1:

1. friso.ini中friso.lex_dir增加相对friso.ini的路径支持,这个可以让嵌入部署更方便。感谢 @黄冠能 的建议

2. 修复两处内存泄漏bug。 (无名英雄找到的,在此感谢)

3. 改善中英混合词的识别, 可以识别更多情况, 例如:高3。

4. 词库优化, 加入了一些新词条。

5. 修复friso_dic_add & array_list_insert的两处代码bug。

6. 增加检测模式切分, 只返回词库中有的词条,这个对于有些需求确实挺有用的。

7. 集成了php扩展绑定,完美支持PHP分词。以前这个是单独拿出来的,并且项目为robbe,为了方便管理,现在统一绑定到了friso项目里面。

friso从下个版本开始,会逐渐去提供sphinx的token filter,socket接口等。

google code不在提供下载,下载地址:

1. git@osc 附件:http://git.oschina.net/lionsoul/friso/attach_files

2. friso SF: https://sourceforge.net/projects/friso/files/

 

 

展开全部

相关

说两句网友评论
    我要跟贴
    取消