最近在工作中遇到需要对大文本进行关键词查询。需要实现的效果为,当用户输入一个字或者一个词,要搜出包含这个字或者词的所有内容。就相当于MySQL的LIKE查询效果一样。
在这种场景下,第一时间想到的肯定是直接使用MySQL存储,然后进行查询就可以了,完全符合业务需求。但是经过尝试,当数据量比较大的时候,查询的速度慢得让人根本无法接受。
于是只能考虑其他方案,由于和搜索有关,于是想到了之前使用过的Solr。经过一系列折腾,最后得出最终方案如下。
-
schema设计的时候,需要自定义字段类型,使用solr.NGramTokenizerFactory分词器,并且将分片参数设置成1。
<fieldType name="text_ng1" class="solr.TextField" positionIncrementGap="100"> <analyzer type="index"> <tokenizer class="solr.NGramTokenizerFactory" minGramSize="1" maxGramSize="1"/> </analyzer> <analyzer type="query"> <tokenizer class="solr.NGramTokenizerFactory" minGramSize="1" maxGramSize="1"/> </analyzer> </fieldType>
-
对需要进行查询的字段设置成自定义的类型。
<field name="question_content_list" type="text_ng1" indexed="true" stored="true" required="false" multiValued="true" />
-
查询条件中需要对关键字加双引号,表示不对查询词进行分词。
/select?q=question_content_list%3A"空间"&start=0&rows=1&wt=json&indent=true
-
查询结果响应测试。
{ "responseHeader": { "status": 0, "QTime": 1, "params": { "q": "question_content_list:\"空间\"", "indent": "true", "start": "0", "rows": "1", "wt": "json" }
}, "response": { "numFound": 62, "start": 0, "docs": [
{ "question_content_list": [ "18088", "qq空间", "http://photo.qq.com" ], "question_id": "9DSOPHKVYF4G", "_version_": 1661304065051590660 }
]
}
}
原文链接:https://my.oschina.net/SPPan/blog/3196460
郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。