网络编程

使用solr搭建你的全文检索

发布制作：admin　　发布日期：2011/6/8
Solr 是一个可供企业使用的、基于 Lucene 的开箱即用的搜索服务器。对Lucene不熟？那么建议先看看下面两篇文档：<o:p></o:p>
实战Lucene，第 1 部分: 初识 Lucene：http://www.ibm.com/developerworks/cn/java/j-lo-lucene1/<o:p></o:p>
用Lucene加速Web搜索应用程序的开发：http://www.ibm.com/developerworks/cn/web/wa-lucene2/<o:p></o:p>
<o:p> </o:p>
solr介绍
solr是基于Lucene Java搜索库的企业级全文搜索引擎，目前是apache的一个项目。它的官方网址在http://lucene.apache.org/solr/ 。solr需要运行在一个servlet 容器里，例如tomcat5.5。solr在lucene的上层提供了一个基于HTTP/XML的Web Services，我们的应用需要通过这个服务与solr进行交互。<o:p></o:p>
solr安装和配置
关于solr的安装和配置，这里也有两篇非常好的文档，作者同时也是 Lucene Java 项目的提交人和发言人：<o:p></o:p>
使用Apache Solr实现更加灵巧的搜索：http://www.ibm.com/developerworks/cn/java/j-solr1/index.html<o:p></o:p>
http://www.ibm.com/developerworks/cn/java/j-solr2/index.html<o:p></o:p>
下面主要说说需要注意的地方。<o:p></o:p>
Solr的安装非常简单，下载solr的zip包后解压缩将dist目录下的war文件改名为solr.war直接复制到tomcat5.5的webapps目录即可。注意一定要设置solr的主位置。有三种方法。我采用的是在tomcat里配置java:comp/env/solr/home的一个JNDI指向solr的主目录（example目录下），建立/tomcat55/conf/Catalina/localhost/solr.xml文件。
?
xml 代码 ?
  1. <Context?docBase="D:/solr.war"?debug="0"?crossContext="true"?>??
  2. ???<Environment?name="solr/home"?type="java.lang.String"?value="D:/solr/solr"?override="true"?/>??
  3. </Context>??
<o:p></o:p>
?
<o:p></o:p>
观察这个指定的solr主位置，里面存在两个文件夹：conf和data。其中conf里存放了对solr而言最为重要的两个配置文件schema.xml和solrconfig.xml。data则用于存放索引文件。<o:p></o:p>
schema.xml主要包括types、fields和其他的一些缺省设置。<o:p></o:p>
solrconfig.xml用来配置Solr的一些系统属性，例如与索引和查询处理有关的一些常见的配置选项，以及缓存、扩展等等。<o:p></o:p>
上面的文档对这两个文件有比较详细的说明，非常容易上手。注意到schema.xml里有一个
xml 代码 ?
  1. <uniqueKey>url</uniqueKey>??
的配置，这里将url字段作为索引文档的唯一标识符，非常重要。<o:p></o:p>
?
加入中文分词
对全文检索而言，中文分词非常的重要，这里采用了qieqie庖丁分词（非常不错：））。集成非常的容易，我下载的是2.0.4-alpha2版本，其中它支持最多切分和按最大切分。创建自己的一个中文TokenizerFactory继承自solr的BaseTokenizerFactory。
?
java 代码 ?
  1. /**?
  2. ?*?Created?by?IntelliJ?IDEA.?
  3. ?*?User:?ronghao?
  4. ?*?Date:?2007-11-3?
  5. ?*?Time:?14:40:59?
  6. ?*?中文切词??对庖丁切词的封装?
  7. ?*/??
  8. public?class?ChineseTokenizerFactory?extends?BaseTokenizerFactory?{??
  9. ????/**?
  10. ?????*?最多切分???默认模式?
  11. ?????*/??
  12. ????public?static?final?String?MOST_WORDS_MODE?=?"most-words";??
  13. ????/**?
  14. ?????*?按最大切分?
  15. ?????*/??
  16. ????public?static?final?String?MAX_WORD_LENGTH_MODE?=?"max-word-length";??
  17. ??
  18. ????private?String?mode?=?null;??
  19. ??
  20. ????public?void?setMode(String?mode)?{??
  21. ????????????if?(mode==null||MOST_WORDS_MODE.equalsIgnoreCase(mode)??
  22. ????????????????????||?"default".equalsIgnoreCase(mode))?{??
  23. ????????????????this.mode=MOST_WORDS_MODE;??
  24. ????????????}?else?if?(MAX_WORD_LENGTH_MODE.equalsIgnoreCase(mode))?{??
  25. ????????????????this.mode=MAX_WORD_LENGTH_MODE;??
  26. ????????????}??
  27. ????????????else?{??
  28. ????????????????throw?new?IllegalArgumentException("不合法的分析器Mode参数设置:"?+?mode);??
  29. ????????????}??
  30. ????????}??
  31. ??
  32. ????@Override??
  33. ????public?void?init(Map<String,?String>?args)?{??
  34. ????????super.init(args);??
  35. ????????setMode(args.get("mode"));??
  36. ????}??
  37. ??
  38. ????public?TokenStream?create(Reader?input)?{??
  39. ????????return?new?PaodingTokenizer(input,?PaodingMaker.make(),??
  40. ????????????????createTokenCollector());??
  41. ????}??
  42. ??
  43. ????private?TokenCollector?createTokenCollector()?{??
  44. ????????if(?MOST_WORDS_MODE.equals(mode))??
  45. ????????????return?new?MostWordsTokenCollector();??
  46. ????????if(?MAX_WORD_LENGTH_MODE.equals(mode))??
  47. ????????????return?new?MaxWordLengthTokenCollector();??
  48. ????????throw?new?Error("never?happened");??
  49. ????}??
  50. }??
<o:p></o:p>
?
<o:p></o:p>
在schema.xml的字段text配置里加入该分词器。<o:p></o:p>
xml 代码 ?
  1. <fieldtype?name="text"?class="solr.TextField"?positionIncrementGap="100">??
  2. ???????????<analyzer?type="index">??
  3. ???????????????<tokenizer?class="com.ronghao.fulltextsearch.analyzer.ChineseTokenizerFactory"?mode="most-words"/>??
  4. ???????????????<filter?class="solr.StopFilterFactory"?ignoreCase="true"?words="stopwords.txt"/>??
  5. ???????????????<filter?class="solr.WordDelimiterFilterFactory"?generateWordParts="1"?generateNumberParts="1"?catenateWords="1"?catenateNumbers="1"?catenateAll="0"/>??
  6. ???????????????<filter?class="solr.LowerCaseFilterFactory"/>??
  7. ???????????????<filter?class="solr.RemoveDuplicatesTokenFilterFactory"/>??
  8. ???????????</analyzer>??
  9. ???????????<analyzer?type="query">??
  10. ???????????????<tokenizer?class="com.ronghao.fulltextsearch.analyzer.ChineseTokenizerFactory"?mode="most-words"/>??????????????????
  11. ???????????????<filter?class="solr.SynonymFilterFactory"?synonyms="synonyms.txt"?ignoreCase="true"?expand="true"/>??
  12. ???????????????<filter?class="solr.StopFilterFactory"?ignoreCase="true"?words="stopwords.txt"/>??
  13. ???????????????<filter?class="solr.WordDelimiterFilterFactory"?generateWordParts="1"?generateNumberParts="1"?catenateWords="0"?catenateNumbers="0"?catenateAll="0"/>??
  14. ???????????????<filter?class="solr.LowerCaseFilterFactory"/>??
  15. ???????????????<filter?class="solr.RemoveDuplicatesTokenFilterFactory"/>??
  16. ???????????</analyzer>??
  17. ???????</fieldtype>??
  18. ???</types>??

<o:p></o:p>
完成后重启tomcat，即可在http://localhost:8080/solr/admin/analysis.jsp<o:p></o:p>
体验到庖丁的中文分词。注意要将paoding-analysis.jar复制到solr的lib下，注意修改jar包里字典的home。<o:p></o:p>
与自己的应用进行集成
Solr安装完毕，现在可以将自己的应用与solr集成。其实过程非常的简单，应用增加数据-->根据配置的字段构建add的xml文档-->post至solr/update。<o:p></o:p>
应用删除数据-->根据配置的索引文档唯一标识符构建delete的xml文档-->post至solr/update。<o:p></o:p>
检索数据à构建查询xml—>get至/solr/select/-->对solr返回的xml进行处理-->页面展现。<o:p></o:p>
具体的xml格式可以在solr网站找到。另外就是solr支持高亮显示，非常方便。<o:p></o:p>
关于中文，solr内核支持UTF-8编码，所以在tomcat里的server.xml需要进行配置<o:p></o:p>
xml 代码
  1. <Connector port="8080" maxHttpHeaderSize="8192" URIEncoding="UTF-8" …/>
<o:p></o:p>
?
另外，向solr Post请求的时候需要转为utf-8编码。对solr 返回的查询结果也需要进行一次utf-8的转码。检索数据时对查询的关键字也需要转码，然后用“+”连接。<o:p></o:p>
java 代码
  1. String[] array = StringUtils.split(query, null, 0);
  3. for (String str : array) {
  5. result = result + URLEncoder.encode(str, "UTF-8") + "+";
  7. }
?
<o:p></o:p>