Solr与Mysql数据库的集成,实现全量索引、增量索引的创建。
基本原理很简单:在Solr项目中注册solr的DataImportHandler并配置Mysql数据源以及数据查询sql语句。当我们通过Solr后台控制页面或者直接访问某个地址(后面给出),Solr就会调用DataImportHandler,连接数据库,根据sql语句查询数据,创建索引。 示例solr版本:solr4.3.1 约定Solr的安装目录,如E:\environment\solr-4.3.1为solr-home。 1. 拷贝jar包 将DataImportHandler所在的jar包和mysql的数据库驱动包Copy到solr-home/dist目录下。默认情况下该目录下已存在DataImportHandler所需的两个jar包。该Solr版本对应的jar包名字是:solr-dataimporthandler-4.3.1.jar、solr-dataimporthandler-extras-4.3.1.jar 2. 修改solr-home\example\solr\collection1\conf\solrconfig.xml文件 a. 增加所需jar包引用配置:- <lib dir="../../../dist/" regex="solr-dataimporthandler-.*\.jar" />
- <lib dir="../../../dist/" regex="mysql-connector-java-.*\.jar" />
b. 增加resultHandler配置
- <requestHandler name="/dataimport"
- class="org.apache.solr.handler.dataimport.DataImportHandler">
- <lst name="defaults">
- <str name="config">data-config.xml</str>
- </lst>
- </requestHandler>
3. 在solrconfig.xml的同级目录下创建data-config.xml文件,配置数据库连接和Solr与mysql数据的对应关系和查询语句。
- <dataConfig>
- <dataSource type="JdbcDataSource" driver="com.mysql.jdbc.Driver"
- url="jdbc:mysql://127.0.0.1/dbname" user="root" password="root"/>
- <document name="search_object">
- <entity name="talent"
- query="select id, gender, qq, msn, anualSalary, updateTime, addUserId
- from talent">
- <field column="anualSalary" name="salary"/>
- <field column="addUserId" name="userId"/>
- <!--Talent Names-->
- <entity name="talent_name" query="select value from talentname where talentId='${talent.id}'">
- <field column="value" name="name"/>
- </entity>
- </entity>
- </document>
- </dataConfig>
4. 重启Solr。 批量导入(full-import): http://<host>:<port>/solr/dataimport?command=full-import&commit=y 增量导入(delta-import): http://<host>:<port>/solr/dataimport?command=delta-import&commit=y 导入状态查询(status): http://<host>:<port>/solr/dataimport 重新装载配置文件(reload-config): http://<host>:<port>/solr/dataimport?command=reload-config 终止导入(abort): http://<host>:<port>/solr/dataimport?command=abort