“百变”Redis带你见识不同场景下的产品技术架构

  • 时间:
  • 浏览:2
  • 来源:神彩UU直播_彩神UU直播官方

Redis线程并全部与非 在所有的场景中都适用,Redis线程只适用于主从版无法满足性能需求时、集群版shard节点成为性能瓶颈时、读写分离版本有热写瓶时以及同步延迟等问题时。

Redis混合存储架构如上图所示,从业务模型来看,其他人儿把Redis混合存储架构分为三层,第一层是计算层,它中含所有Redis的网络连接、协议解析、定时任务、命令除理、过期、淘汰、同步等业务逻辑;第二层是数据层,它中含热数据表示、冷热数据交换、冷数据编解码;第三层是存储层,它中含存储引擎、文件系统以及硬件管理。

如上图所示,Redis线程性能增强版是由主线程、多个IO线程和WORKER线程组成,主线程主要负责接受连接,创建client,将连接转发给IO线程。IO线程负责除理连接的读写事件,解析命令,将解析的全部命令转发给WORKER线程除理,发送response包,负责删除连接等;WORKER线程负责命令的除理,生成客户端回包,定时器事件的执行等。

IO线程没人 多,Redis线程的性能越好,以后IO线程与Redis线程的性能并全部与非 线性的,当IO线程达到一定的数量时,WORKER就会达到三个 瓶颈。以后,IO线程最多支持多达6个,默认请况下里都可以 三个 IO线程。另外需用注意的是,线程数个数跟规格是绑定的,一旦选定实例创建完毕后无法动态修改,如需修改,就需用通过升级规格的法律法律法律依据完成。

2018飞天技术汇24期-云数据库Redis产品发布会,由阿里云数据库技术组技术专家王欢、怀听、梁盼分别带来以“Redis全球多活产品”、“Redis混合存储产品”、“Redis线程性能增强版”为题的演讲。本文对Redis进行了简单的介绍,进而针对不同的应用场景研制出不同的产品,并对不同产品分别进行了全部地介绍。

数十款阿里云产品限时折扣中,赶快点击这里,领券刚开始英语 英语 云上实践吧!

直播视频回顾PPT下载地址(云痕)(怀听)(梁盼)

原生的Redis是进行串行除理的,当它接收到三个 请求时,会尝试连接读取到一偏离 数据,并对这偏离 数据进行解析,可能性解析到三个 全部的数据,就会对这个数据进行除理。当这个数据除理完以前,会生成对数据的三个 响应,针对这个响应在发送给客户端。原生的Redis所处三个 不足英文,只要都可以 做到并发。相对而言,Redis线程做的三个 Master-Slave架构就并能做到并发,它是将Master数据除理完以前,将数据同步到Slave上。

Redis 是三个 高性能的key-value数据库,Redis的优势有统统,这类,它的性能极高 ,Redis能读的传输时延是140000次/s,写的传输时延是84000次/s ;它具有丰沛 的数据类型,可支持二进制案例的 Strings、Lists、Hashes、Sets 及 Ordered Sets 数据类型操作;它的所有操作全部与非 原子性的,意思只要要么成功执行要么失败全部不执行;它还具有丰沛 的形态, 即支持 publish/subscribe、通知、key过期等等形态。

Redis 与其他key - value 缓存产品三个 共同特点:一是Redis支持数据的持久化,都可以 将内存中的数据保所处磁盘中,重启的以前都可以 再次加载进行使用;二是Redis不仅仅支持简单的key-value类型的数据,共同还提供list、set、zset、hash等数据形态的存储;三是Redis支持数据的备份,即master-slave模式的数据备份。

Redis与其他key-value存储的不同点在于Redis有着更为冗杂的数据形态以后提供对它们的原子性操作,这是三个 不同于其他数据库的进化路径。Redis的数据类型全部与非 基于基本数据形态的共同对线程员是透明的,不不进行额外的抽象。另外的三个 不同点在于Redis在内存中运行时都可以 持久化到磁盘中,统统在对不同数据集进行高速读写需用用权衡内存,可能性数据量都可以 大于硬件内存。以后,与磁盘上相同的冗杂数据形态相比,在内存中操作起来更为简单,只要Redis都可以 做统统内部内部结构冗杂性很强的事情。共同,在磁盘格式方面它们是紧凑以追加的法律法律法律依据产生的,可能性其他人儿暂且需用进行随机访问。

Redis混合存储产品应用的场景中含电商类应用、直播类应用、互联网类应用,对于电商类应用而言,它的活跃商品数据存倒入内存中,冷门商品数据存倒入磁盘中;对于直播类应用而言,它的活跃直播间和热门直播间的数据存倒入内存中,下线直播间和冷门直播间的数据存倒入磁盘中;对于互联网类应用而言,它的首页和热门贴数据存倒入内存中,冷门帖子存倒入磁盘中。

Redis线程性能增强版主要应用在电商类应用、直播类应用中,对于电商类应用而言,适用于秒杀场景和库存计数;对于直播类应用而言,主要适用于热点直播间和明星大V的直播。

在线程间数据在进行交换的过程中,三个 IO线程在获取到连接以前,就刚开始英语 英语 尝试在这个连接上读取请求,以后对请求做三个 解析,若解析到是三个 全部的请求,就会将请求倒入队列后边。接着,IO线程通知WORKER线程有新的命令需用除理,这个通知是通过管道来进行的。最后,WORKER线程接受到命令后就会对其进行除理,除理完过可以 形成对命令的响应,并将响应倒入队列后边,同样,WORKER线程也会通知IO线程。

其中,数据层进行冷热交换是为了保证兼容性,可能性所有Redis的业务逻辑是采用主线程来除理的,所有实际的IO是由后台来运行的,进而只要会阻挡主线程的运行。在热数据转加上冷数据的过程中,数据量小于内存时,Redis混合存储会把所有的Keys和Values倒入内存后边,只要都可以 达到性能最高。当数据量没人 大时,内存里会再次出现 存不下的问题,这与非 按照最近的访问频率筛选出其他很少被访问到的Values,以后由主线程生成IO任务,接着后台的IO线程拿到哪几种任务存储到磁盘中,最后主线会将哪几种Values释放掉。在冷数据转加上热数据的过程中,收到用户请求后,首先判断任务请求会访问到哪几种Values,以后看哪几种Values与非 全部与非 内存后边,可能性偏离 Values什么都没人,会对哪几种Values生成IO任务,以后主线程将客户端挂起,接着继续除理其它客户端的请求,当此线程拿到哪几种任务后,会把数据从磁盘后边加载到内存后边,共同通知给主线程,主线程收到哪几种通知过可以 将挂起的客户端唤醒继续除理其他用户请求。

Redis混合存储实例是阿里云自主研发的全部兼容Redis协议和形态的混合存储产品。通过将偏离 冷数据存储到磁盘,在保证绝大偏离 访问性能不下降的基础上,大大降低了用户成本,并突破了内存对Redis单实例数据量的限制。

它的数据类型是将热数据存储在内存里,将冷数据存储在磁盘后边,顾名思义,热数据只要指频繁访问到的数据。可能性所有的Redis与非 访问到Keys,相对来说Keys的访问天生就比Values大其他,以后Redis混合存储产品是将所有的Keys、常访问的Values倒入内存里存储,而不经常访问的Values倒入磁盘里存储。在业务场景后边,Keys只占十十多少 字节,但Values却占几百甚至几千个字节,统统将所有的Keys倒入内存里对整体性里并能提高统统。

Redis全球多活产品是指多个Redis实例分布在全球不同的区域,它是阿里云自研、基于云数据库Redis版(ApsaraDB for Redis)、400%兼容 Redis 协议的多活数据库系统。通过数据同步通道,把多个Redis实例组网成三个 逻辑上的 Redis 多活实例,多活实例内的所有实例均可读写并保持实时数据同步。数据同步通道通过内网打通,具有高可靠、高安全、低延迟的形态。子实例间通过CRDT(Conflict-free Replicated Data Type)机制检测并除理数据冲突,保障数据最终一致性。Redis全球多活产品轻松支持异地多个站点共同对外提供服务的业务场景,助力企业快速克隆技术阿里巴巴异地多活架构。





异地多活产品架构图如上图所示,它是由云数据库Redis版实例、同步通道和通道管理器三偏离 组成。可能性异地多活是由多个Redis实例组成,以后都可以 实现每个子实例之间实时数据同步、每个子实例数据最终一致、每个子实例均可读写等功能。

线程在运行过程中总会遇到各种各样的问题,这类线程bug、机器故障、机房断电起火故障等,业务上要求所处哪几种故障需用保证数据一致性和业务可用性,统统全部与非 了架构演练之路,即单可用区-同城容灾-两地三中心-异地多活。

可能性单可用区架构无法应对机房再次出现 故障,全部与非 了同城容灾的架构。同城容灾架构可能性无法应对地域级别的问题,接着全部与非 了两地三中心架构。可能性其他金融业务要求数据存储在不同的地域中,共同对故障恢复时间有要求,以后两地三中心架构就在同城容灾基础加上了三个 standby中心,但依旧所处十多少 不足英文,即冷备中心不工作,关键时刻不敢切的不足英文;冷备中心不工作,成本浪费的不足英文;本质上数据仍然单点写,数据库瓶颈无法解的不足英文;资源、容灾、扩展无法除理的不足英文。

以后有了异地多活架构,它是指所有的中心都提供业务服务,底层的数据并能相互同步,以后所处着其他优点,这类,所有中心工作,切换有保障;所有中心工作,成本低;弹性伸缩,增加/减少中心个数;故障独立性由于中心不可用时,只影响偏离 用户。

在异地多活构架中,对Redis进行了aof binlog增加oplog和CRDT策略merge key的改造,其中aof binlog增加oplog中中含gtid和逻辑时钟信息,除理了循环同步、Exactly-once Apply的问题;CRDT策略merge key中除理了一致性的问题。



Redis混合存储产品的底层实线是支持冷热数据任意配比的,即都可以 任意的匹配内存占用十多少 和磁盘占用十多少 ,进而在性能和成本上达到三个 平衡。在应用中,所有的数据量都可以 超过内存加磁盘的容量。此产品适用于Values比较大的场景,可能性Values对性能的影响全部与非 很大,统统也比较适合数据访问冷热不均的场景。目前混合存储开通的区域有华北2(北京)的可用区D、华东1(杭州)的可用区E、华南1(深圳)的可用区C。



异地多活业务具有不同的业务有不同的业务设计要求,它需用允其他个地域具有共同修改同一份数据的功能,这类全局session、全局PV、用户收藏夹、购物车、地理位置信息、收藏夹、历史搜索记录、弹幕、评论等。共同,它还需用做数据切分,要求一份数据只允许有三个 写入点。

Redis线程性能增强版突破了Redis单线程的性能瓶颈,且400%兼容原生Redis,业务不不修改任何代码。通过将命令解析,读写,响应等事件分发给多个IO线程并发除理,实现除理性能质的飞跃。

多活业务设计的要点有自中含性、松耦合性和路由规则一致性,即多活业务设计的所有计算与数据需用在三个 中心内完成;跨单元之间里都可以 进行服务调用,都可以 直接访问数据库或其他存储;路由需用是入口路由可能性微服务调用路由。

异地多活产品具有高可用、高性能、数据最终一致以及功能丰沛 的形态,具体介绍如下:



对于存储层而言,磁盘上的存储是跟阿里巴巴的服务器研发团队共建的三个 用户态的存储引擎,称为FusionEngine。它是由业务定制三个 RocksDB,以后通过底层的三个 用户固态的文件系统来缩短用户的IO路径,进而除理了内核的开销。在业务场景后边,FusionEngine的性能比过去的文件系统性能提升了约400%左右,以后整体的Redis混合存储性能也得到了有效的提升。