标签: Java

IKSegment 复用,避免new多个对象导致性能低下

大名顶顶的中文分词器 https://code.google.com/archive/p/ik-analyzer/ ,今天这里我们主要不是用在elastic search上,而是用于基础的分词,

IKSegmenter : 这是 IK 分词器的核心类。它是独立于 Lucene 的 Java 分词器实现。当您需要 在 Lucene 以外的环境中单独使用 IK 中文分词 组件时,IKSegmenter 正是您要找的。

主要是我今天写的代码里,JProfiler 里排名第一的卡CPU就是它,我生成两百万数据的话,足足卡了我10分钟!!