上一篇中我们使用多线程创建了索引,下面我们来试着采用不把多个索引目录里的数据合并到一个新的索引目录的方式去查询索引数据,当然你也可以合并(合并到一个索引目录查询就很简单了),其实很多情况我们都是不合并到一个索引目录的,那多索引目录该如何查询呢,在Lucene5中使用的MultiReader类,在Lucene4时代,使用的是MultiSearcher类。至于Lucene多线程查询,只需要在构建IndexSearcher对象时传入一个ExecutorService线程池管理对象即可,具体请看下面贴出的示例代码:
package com.yida.framework.lucene5.index; import java.io.IOException; import java.util.ArrayList; import java.util.List; import java.util.concurrent.Callable; import java.util.concurrent.ExecutionException; import java.util.concurrent.ExecutorService; import java.util.concurrent.Executors; import java.util.concurrent.Future; import org.apache.lucene.document.Document; import org.apache.lucene.index.DirectoryReader; import org.apache.lucene.index.IndexReader; import org.apache.lucene.index.MultiReader; import org.apache.lucene.index.Term; import org.apache.lucene.search.IndexSearcher; import org.apache.lucene.search.Query; import org.apache.lucene.search.TermQuery; import org.apache.lucene.store.Directory; import com.yida.framework.lucene5.util.LuceneUtils; /** * 多线程多索引目录查询测试 * @author Lanxiaowei * */ public class MultiThreadSearchTest { public static void main(String[] args) throws InterruptedException, ExecutionException, IOException { //每个线程都从5个索引目录中查询,所以最终5个线程的查询结果都一样 //multiThreadAndMultiReaderSearch(); //多索引目录查询(把多个索引目录当作一个索引目录) multiReaderSearch(); } /** * 多索引目录查询 * @throws InterruptedException * @throws ExecutionException * @throws IOException */ public static void multiReaderSearch() throws InterruptedException, ExecutionException, IOException { Directory directory1 = LuceneUtils.openFSDirectory("C:/lucenedir1"); Directory directory2 = LuceneUtils.openFSDirectory("C:/lucenedir2"); Directory directory3 = LuceneUtils.openFSDirectory("C:/lucenedir3"); Directory directory4 = LuceneUtils.openFSDirectory("C:/lucenedir4"); Directory directory5 = LuceneUtils.openFSDirectory("C:/lucenedir5"); IndexReader reader1 = DirectoryReader.open(directory1); IndexReader reader2 = DirectoryReader.open(directory2); IndexReader reader3 = DirectoryReader.open(directory3); IndexReader reader4 = DirectoryReader.open(directory4); IndexReader reader5 = DirectoryReader.open(directory5); MultiReader multiReader = new MultiReader(reader1,reader2,reader3,reader4,reader5); IndexSearcher indexSearcher = LuceneUtils.getIndexSearcher(multiReader); Query query = new TermQuery(new Term("contents","volatile")); List<Document> list = LuceneUtils.query(indexSearcher, query); if(null == list || list.size() <= 0) { System.out.println("No results."); return; } for(Document doc : list) { String path = doc.get("path"); //String content = doc.get("contents"); System.out.println("path:" + path); //System.out.println("contents:" + content); } } /** * 多索引目录且多线程查询,异步收集查询结果 * @throws InterruptedException * @throws ExecutionException * @throws IOException */ public static void multiThreadAndMultiReaderSearch() throws InterruptedException, ExecutionException, IOException { int count = 5; ExecutorService pool = Executors.newFixedThreadPool(count); Directory directory1 = LuceneUtils.openFSDirectory("C:/lucenedir1"); Directory directory2 = LuceneUtils.openFSDirectory("C:/lucenedir2"); Directory directory3 = LuceneUtils.openFSDirectory("C:/lucenedir3"); Directory directory4 = LuceneUtils.openFSDirectory("C:/lucenedir4"); Directory directory5 = LuceneUtils.openFSDirectory("C:/lucenedir5"); IndexReader reader1 = DirectoryReader.open(directory1); IndexReader reader2 = DirectoryReader.open(directory2); IndexReader reader3 = DirectoryReader.open(directory3); IndexReader reader4 = DirectoryReader.open(directory4); IndexReader reader5 = DirectoryReader.open(directory5); MultiReader multiReader = new MultiReader(reader1,reader2,reader3,reader4,reader5); final IndexSearcher indexSearcher = LuceneUtils.getIndexSearcher(multiReader, pool); final Query query = new TermQuery(new Term("contents","volatile")); List<Future<List<Document>>> futures = new ArrayList<Future<List<Document>>>(count); for (int i = 0; i < count; i++) { futures.add(pool.submit(new Callable<List<Document>>() { public List<Document> call() throws Exception { return LuceneUtils.query(indexSearcher, query); } })); } int t = 0; //通过Future异步获取线程执行后返回的结果 for (Future<List<Document>> future : futures) { List<Document> list = future.get(); if(null == list || list.size() <= 0) { t++; continue; } for(Document doc : list) { String path = doc.get("path"); //String content = doc.get("contents"); System.out.println("path:" + path); //System.out.println("contents:" + content); } System.out.println(""); } //释放线程池资源 pool.shutdown(); if(t == count) { System.out.println("No results."); } } }
当然你也可以把上面的代码改造成每个线程查询一个索引目录,我上面是每个线程都从5个索引目录中查询,所以结果会打印5次,看到运行结果请不要感到奇怪。
如果你还有什么问题请加我Q-Q:7-3-6-0-3-1-3-0-5,
或者加裙
一起交流学习!
相关推荐
一步一步跟我学习lucene是对近期做lucene索引的总结,
NULL 博文链接:https://iamyida.iteye.com/blog/2196855
lucene并行索引
lucene索引多线程多目录创建索引
另外就是可以用多线程来分别对不同的内容进行索引并保存到RAMDirectory里,然后再把所有的内存索引合并到FSDirectory里,甚至可以让多台服务器分别处理内容的各个部分,然后把索引结果放到一个队列里,再有一台机器...
对sqlserver数据库表,用多线程,高速创建索引。性能很高。参数灵活
其次,利用内存索引和多线程并行处理技术提高Lucene创建倒排索引效率,并依据地名类别和显示优先级属性优化了检索结果相关度排序策略。最后,开发了一套具有快速搜索和地图定位展示的Web地名检索系统,使用500万条...
4.12. ParalellMultiSearcher类---多线程搜索 14 5. 排序 14 5.1. Sort类 14 5.2. SortField类 14 5.3. 指定排序的法则 15 5.3.1. 按照文档的得分降序排序 15 5.3.2. 按文档的内部ID升序排序 15 5.3.3. 按照一个...
Lucene 搜素 分词 ... 希望大家共同探讨.QQ群: 12966179 王小波 2008/12/10 ...本章还涉及Lucene索引的内部结构,用多线程和多进程访问Lucene时的重点和难点,以及防止并发索引修改的锁机制这些内容。
总结了一些实用的demo 包括: 1.建立索引 2.通过IKAnalyzer搜索中文关键词 3.复杂的多字段搜索 4.多线程并发搜索,通过contiperf测试,详见:...lucene支持多线程并发搜索和建索引,只要IndexWriter是单例模式即可
IndexWriter和IndexReader是线程安全的,可以被多线程共享 全文索引/搜索 中文分词器 最大匹配法(机械分词):按照一定的策略将待分析的汉字串与一个“充分大的”机器词典中的词条进行配,若在词典中找到某个字符串...
有filter、index、analyze、以及多目录多线程检索等,search的目录中有根据不同情况的查询方式的实现,在下载下去后,把lucene_common下的GetParamsService.java打开,里面可以设置要存放的索引目录以及小文件目录
多线程优化:采用多线程技术处理用户请求和数据更新,提高系统的并发处理能力和响应速度。 RESTful API:采用RESTful架构设计API接口,实现前后端分离,提高系统的可扩展性和灵活性。 数据可视化:结合可视化技术...
我试图在多线程设置中从同一索引中提供建议,但是由于这种设计,我只能为每个进程的每个索引创建一个建议程序。 我已经创建了这个GitHub项目来演示该错误。 要运行演示: ./gradlew buildjava -jar build/libs/...
10ms),非常适合命令行工具BM25评分(与Lucene相同)自然查询语言(例如(michael AND jackson) OR "king of pop" )短语查询搜索(例如"michael jackson" )增量索引多线程索引(在我的桌面上索引英文维基百科需要 ...
HubbleDotNet 设计了较为完善的并发控制程序,数据的增删改查可以多线程同时并发进行,没有任何冲突。HubbleDotNet 还进行 了缓存和内存管理设计,可以帮助用户最大限度的提高查询的效率。HubbleDotNet 力争在未来的...
Hubble.net 设计了较为完善的并发控制程序,数据的增删改查可以多线程同时并发进行,没有任何冲突。Hubble.net 还进行了缓存和内存管理设计,可以帮助用户最大限度的提高查询的效率。Hubble.net 力争在未来的几年内...
UindexWeb搜索是一个完整的蜘蛛程序,他的内部使用多线程, 多个自定义组件来实现搜索,在打开工程前,需要先安装如下自定 义组件: Uindex.pas (用来分析Html网页的组件) UindexStatusBar.pas (用来在状态栏画图片) ...
基于Lucene实现了一个海量数据库全文检索的原型。把关系数据库引入了本系统,可针对...采用多线程,通过动态机制来实现不同类型源数据库中记录的抽取、转换、建立索引;提供定时自动更新索引的功能;提供多种检索方式。
Parallel的使用 多线程系列(5)5天不再惧怕多线程——第五天 线程池 5天不再惧怕多线程——第四天 信号量 5天不再惧怕多线程——第三天 互斥体 5天不再惧怕多线程——第二天 锁机制 5天不再惧怕多线程——第一天 尝试...