Elasticsearch 分布式引擎概述PPT

Elasticsearch是什么Elasticsearch 是一个分布式的开源搜索和分析引擎，在 Apache Lucene 的基础上开发而成。Lucen...

Elasticsearch是什么Elasticsearch 是一个分布式的开源搜索和分析引擎，在 Apache Lucene 的基础上开发而成。Lucene 是开源的搜索引擎工具包，Elasticsearch 充分利用Lucene，并对其进行了扩展，使存储、索引、搜索都变得更快、更容易，而最重要的是，正如名字中的“ elastic ”所示，一切都是灵活、有弹性的。而且，应用代码也不是必须用Java 书写才可以和Elasticsearc兼容，完全可以通过JSON 格式的HTTP 请求来进行索引、搜索和管理Elasticsearch 集群。如果你已经听说过Lucene ，那么可能你也听说了Solr ，它也是开源的基于Lucene 的分布式搜索引擎，跟Elasticsearch有很多相似之处。但是Solr 诞生于2004 年，而Elasticsearch诞生于2010，Elasticsearch凭借后发优势和更活跃的社区、更完备的生态系统，迅速反超Solr，成为搜索市场的第二代霸主。 Elasticsearch 很快由于 Elasticsearch 是在 Lucene 基础上构建而成的，所以在全文本搜索方面表现十分出色。Elasticsearch 同时还是一个近实时的搜索平台，这意味着从文档索引操作到文档变为可搜索状态之间的延时很短，一般只有一秒。因此，Elasticsearch 非常适用于对时间有严苛要求的用例，例如安全分析和基础设施监测 Elasticsearch 具有分布式的本质特征Elasticsearch 中存储的文档分布在不同的容器中，这些容器称为分片，可以进行复制以提供数据冗余副本，以防发生硬件故障。Elasticsearch 的分布式特性使得它可以扩展至数百台（甚至数千台）服务器，并处理 PB 量级的数据 Elasticsearch 包含一系列广泛的功能除了速度、可扩展性和弹性等优势以外，Elasticsearch 还有大量强大的内置功能（例如数据汇总和索引生命周期管理），可以方便用户更加高效地存储和搜索数据逻辑结构2.1 DocumentElasticsearch 是面向文档的，这意味着索引和搜索数据的最小单位是文档。一个文档通常是以JSON 的数据格式来表示的。例如，一项技术大会的活动可以通过如下文档表达：{"name":"Elasticsearch技术峰会","organizer":"冰河","location ":"中国, 浙江，杭州"}一个Document中有很多Field，一个Field就是一个数据字段。文档可以是包含若干取值的一行。但是这样的比较不够精准，它们还是有所差别。一个区别是，和行有所不同，文档可以是层次型的。例如，位置可以包含地址和邮编：{"address":,"postcode":"310000"}一篇单独的文档也可以包含一组数值，例如：{"member":["洪七公","黄药师","欧阳锋","一灯"]}2.2 Type类型，是文档的逻辑容器，类似于表格是行的容器。在不同的类型中，最好放入不同结构的文档。每个类型中字段（Field）的定义称为映射（Mapping）。例如，一个人的姓名可以映射为string，年龄可以映射为int。映射包含某个类型中当前索引的所有文档的所有字段，但是不是所有的文档必须要有所有的宇段。同样，如果一篇新近索引的文档拥有一个映射中尚不存在的字段， Elasticsearch 会自动地将新字段加入映射。为了添加这个字段Elasticsearch 不得不确定它是什么类型，于是Elasticsearch 会进行猜测。例如，如果值是7，Elasticsearch 会假设字段是长整型。这种新字段的自动检测也有缺点，因为Elasticsearch 可能猜得不对。例如，在索引了值7之后，你可能想再索引hello world ，这时由于它是string 而不是long ，索引就会失败。对于线上环境，一般在索引数据之前，都会定义好所需的映射，不允许动态添加字段。2.3 Index索引，是类型的容器。一个Elasticsearch 索引非常像关系型世界的数据库，是独立的大量文档集合。每个索引存储在磁盘上的同组文件中，索引存储了所有映射类型的字段，还有一些设置。2.4 与关系数据库的类比需要特别注意的是：ES 6以前每个Index可以有多个Type，在ES 6中一个Index仅能包含一个Type，而在ES 7将完全移除Type。为什么要移除Type呢？我们一直拿ES与关系数据库作类比，说"索引"和关系数据库的“库”是相似的，“类型”和“表”是对等的。实际上这是一个不太准确的对比。在关系型数据库里，"表"是相互独立的，一个“表”里的列和另外一个“表”的同名列没有关系，互不影响。但在ES的中不是这样的。在同一个Index下，不管有多少个Type，底层共用一个Lucene实例，也就是说，所有Type的同名字段在内部使用的是同一个Lucene字段存储，这就要求同名字段必须属于同一种数据类型。这可能导致一些问题，例如同一个索引下，有两个结构不同的Type，都拥有一个名为"deleted"字段，但是如果期望的在一个Type里是存储日期值，在另外一个Type里存储布尔值，是做不到的。还有一个更重要的原因，在同一个索引中，存储仅有小部分字段相同或者全部字段都不相同的文档，会导致数据稀疏，影响Lucene有效压缩数据的能力。物理结构3.1 Node一个节点是一个ES的实例，在服务器上启动ES之后，就拥有了一个节点，如果在另一个服务器上启动ES，这就是另一个节点。甚至可以在一台服务器上启动多个ES进程，在一台服务器上拥有多个节点。多个节点可以加入同一个集群。当ElasticSearch的节点启动后，它会利用多播(multicast)(或者单播，如果用户更改了配置)寻找集群中的其它节点，并与之建立连接。这个过程如下图所示：3.2 Cluster集群由若干节点组成，这些节点在同一个网络内，cluster-name相同。Elasticsearch 的集群监控信息中包含了许多的统计数据，其中最为重要的一项就是集群健康，它在 status 字段中展示为 green 、 yellow 或者 red 。 Green所有主分片和备份分片都准备就绪（分配成功），即使有一台机器挂了（假设一台机器一个实例），数据都不会丢失，但会变成Yellow状态 Yellow：所有主分片准备就绪，但存在至少一个主分片（假设是A）对应的备份分片没有就绪，此时集群属于警告状态，意味着集群高可用和容灾能力下降，如果刚好A所在的机器挂了，并且你只设置了一个备份（已处于未就绪状态），那么A的数据就会丢失（查询结果不完整），此时集群进入Red状态 Red：至少有一个主分片没有就绪（直接原因是找不到对应的备份分片成为新的主分片），此时查询的结果会出现数据丢失（不完整）