ThinkerQAQ

NOTE

1.6 Elasticsearch分词器

1. 什么是分词器 把一段句子分成一个个单词，对每个单词进行normalization 1.1. 召回率 搜索的时候增加能够搜索到的结果的数量 2. 分词器的构成 2.1. character filter 在一段文本进行分词之前，先进行预处理，比如说最常见的就是，过滤html标签（<span he

Elasticsearch / Search创建于 更新于 historical

这是历史学习笔记，可能存在过时或不完整的理解。

1. 什么是分词器

把一段句子分成一个个单词，对每个单词进行normalization

1.1. 召回率

搜索的时候增加能够搜索到的结果的数量

2. 分词器的构成

2.1. character filter

在一段文本进行分词之前，先进行预处理，比如说最常见的就是，过滤html标签（hello –> hello），& –> and（I&you –> I and you）

2.2. tokenizer

分词，hello you and me –> hello, you, and, me

2.3. token filter

lowercase，stop word，synonymom，dogs –> dog，liked –> like，Tom –> tom，a/the/an –> 干掉，mother –> mom，small –> little

3. 安装IK Analyzer

4. 参考