NlpirParser灵玖智能平台新词挖掘

　　从中文自然语言处理的角度来看，广义的新词可以分为三大类：(1) 命名实体，包括机构名，人名等。(2) 除命名实体外，词典不曾收录的且具有新词形的词语，如“非典”、“数码相机”等。(3) 词义或用法发生变化的旧有词汇，但这些新的词义和新的用法词典中没有收入，这类词汇主要可以分为三种：第1种是原有词语增加新的意义，比如“下课”、“充电”等这些旧有词;第2种是原有词语有了新的用法，如以前“火”是名词，现在用作形容词;第3种是旧词新用，即不再使用的原有词语又重新启用，如“八卦”等。
　　在新词发现方法方面，目前主要有基于规则和基于统计两种方法。基于规则的方法其主要思想是根据新词的构词特征或外型特点建立规则库、词库或模式库，然后通过规则匹配发现新词;基于统计的方法一般是利用统计策略提取出候选串，然后再利用语言知识排除不是新词语的垃圾串或者计算相关度，寻找相关度大的字与字的组合。基于规则的方法主要缺点在于局限于某个领域，并且需要建立规则库等;而基于统计的方法一般都是限于查找较短的新词语，但不便于描述词语的内部和外部结构特征，同时对于出现频率很低的新词识别效果不好。
　　新词自动发现技术能够识别出词典中没有出现过的词汇、短语、命名实体、流行用语，是语言文献分析方面的一把利器。新词发现脱胎于语言自动分词技术，又是对分词技术的有效提升和补充。
　　Nlpir Parser灵玖智能平台新词挖掘系统采用基于语义的统计语言模型，所处理的文档不受行业领域限制，能够有效地挖掘出新出现的特征词汇，所输出的词汇可以配以权重。
　　Nlpir Parser灵玖智能平台新词挖掘系统的主要特色在于：
　　1、速度快：可以处理海量规模的网络文本数据，平均每小时处理至少60万篇文档;
　　2、处理：Top N的分析结果往往能反映出当时的时事流行语和热点实体，适合于舆情热点计算;与国际上厂商的技术相比，各项指标远远，或许是灵玖更懂中文吧;
　　3、排序：新词汇按照影响权重排序，可以输出权重值;
　　5、开放式接口：新词发现系统作为Nlpir Parser的一部分，采用灵活的开发接口，可以方便地融入到用户的业务系统中，可以支持各种操作系统，各类调用语言。
　　新词发现组件可以应用于文本挖掘、知识管理、词典编辑、舆情监测等多种应用中。
语言随着社会的发展而发展，在词汇中的一大表现就是新词语的出现。自古以来，汉语词汇就带有特定时代的烙印，必然会从一个侧面反映出社会政治、经济、文化以及人们价值观念、生活方式的变迁等。