1.redis6.2Դ?源译????
2.redis的哨兵模式第一次主从切换成功,再次进行主从切换就不
3.从零开始OGG实时同步数据至缓存数据库Redis详解
4.Mac上安装Cluster集群模式Redis(6.2.8)
5.一、Linux编译安装Redis
6.Redis 码编Client-side Caching实现剖析与源码解读

redis6.2Դ?????

       深入分析redis之listpack，取代ziplist？

       本文参考源码版本:redis6.2

       从ziplist到quicklist，源译再到listpack结构，码编可以看出，源译redis设计这些数据结构的码编c 传世引擎源码初衷都是为了高效使用内存。

       ziplist设计出的源译紧凑型数据块可以有效利用内存，但在更新上，码编由于每一个entry都保留了前一个entry的源译prevlen长度，因此在插入或者更新时可能会出现连锁更新，码编这是源译一个影响效率的大问题。

       接着设计出「链表+ziplist」组成的码编quicklist结构来避免单个ziplist过大，可以有效降低连锁更新的源译影响面。但quicklist本质上不能完全避免连锁更新问题。码编

       因此，源译设计出与ziplist完全不同的内存紧凑型结构listpack，继续往下看～

       一、listpack是什么？

       listpack也叫紧凑列表，它的特点就是用一块连续的内存空间来紧凑地保存数据，同时为了节省内存空间，listpack列表项使用了多种编码方式，来表示不同长度的数据，这些数据包括整数和字符串。

       Redis源码对于listpack的解释为A lists of strings serialization format，一个字符串列表的序列化格式，也就是将一个字符串列表进行序列化存储。Redis listpack可用于存储字符串或者整型

       二、原理分析

       1. 结构

       listpack由4部分组成：total Bytes、Num Elem、Entry以及End。Entry为listpack中的具体元素，其内容可以为字符串或者整型，每个Entry由3部分组成：

       从组成上可以看出，和ziplist列表项类似，listpack列表项也包含了元数据信息和数据本身。不过，为了避免ziplist引起的连锁更新问题，listpack中的每个列表项不再像ziplist列表项那样，保存其前一个列表项的长度，它只会包含三个方面内容，分别是当前元素的编码类型(encoding)、元素数据(data)，以及编码类型和元素数据这两部分的长度(len)。

       其中type和tot-len一定有值；有时data可能会缺失，wjk源码因为对于一些小的元素可以直接将data放在type字段中。

       element-tot-len记录了这个Entry的长度(encoding + data)，注意并不包括element-tot-len自身长度，占用的字节数小于等于5。在整型存储中，并不实际存储负数，而是将负数转换为正数进行存储。

       2. 编码方式

       encoding-type是理解数据类型的基础，为了节省内存空间，listpack针对不同的数据做了不同的编码：

       小的数字：表示7位无符号整型，后7位为数据。

       小的字符串：6位字符串长度，后6位为字符串长度，再之后则是字符串内容（0 ~ bytes）。

       多字节编码：如果第一个字节的最高2bit被设置为1，采用以下两种编码方式；如果第一个字节的最高4bit被设置为1，将采用以下几种方式编码。

       3. listpack避免连锁更新的实现方式

       在listpack中，因为每个列表项只记录自己的长度，而不会像ziplist中的列表项那样，会记录前一项的长度。所以，当在listpack中新增或修改元素时，实际上只会涉及每个列表项自己的操作，而不会影响后续列表项的长度变化，这就避免了连锁更新。

       4. 查询

       正向查询通过直接移动到第一个entry列表项开始，反向查询通过element-tot-len的特殊编码方式，从当前列表项起始位置的指针开始，向左逐个字节解析，得到前一项的element-tot-len值，从而得出entry的总长度。

       三、初始化、增删改操作、遍历操作、读取元素

       listpack提供了初始化、增删改操作、遍历操作、读取元素的接口。初始化时，会创建一个空的listpack，分配的视界源码大小默认是6个字节，其中4个字节记录listpack的总字节数，2个字节记录元素数量。

       增删改操作分别通过插入、删除、替换元素实现。遍历操作通过接口实现，获取每个entry的首地址，读取元素则通过lpGet接口实现。

       总结

       ziplist、quicklist和listpack是redis不断迭代优化的产物。ziplist的不足主要在于查找效率降低，新增或修改数据时内存空间需要重新分配，导致连锁更新问题，影响访问性能。quicklist通过链表结构降低内存分配，但增加了内存开销。listpack沿用ziplist紧凑型内存布局，进一步避免连锁更新问题。

       可以看出，这些数据结构的设计旨在提高内存使用效率和访问性能，通过不断优化以适应不同场景的需求。

redis的哨兵模式第一次主从切换成功,再次进行主从切换就不

       Redis的failover命令，提供手动触发主从切换功能。此操作尤其在主服务器需要进行维护或升级时尤为重要。通过执行failover命令，可实现主节点与从节点的角色转换。一旦升级完成，执行切回操作恢复原主节点状态。

       基本语法与命令使用范例

       Redis源码版本：6.2.5

       主从切换的核心流程包括：执行failover命令启动切换（设置标记位），接着定期检测从节点的数据同步情况，直至同步完成。同步后，旧主节点与准新主节点建立连接并握手，随后发送psync failover指令，实现准新主节点的角色转换成为新主节点。

       主从切换涉及的关键变量

       深入理解主从切换前，首先要熟悉与切换相关的变量。这些变量在具体场景分析中起到关键作用。

       failover命令处理调用链

       综上所述，从节点完成数据同步的检测调用链是主从切换流程中不可或缺的部分。

       主从切换执行过程

       深入调用链分析，能够全面掌握主从切换的执行过程。

       从节点转变为主节点

       当准新主节点接收到psync failover指令，lts源码进行合法性检查（replid一致性），若合法一致，则调用replicationUnsetMaster断开与当前主节点的连接，解除副本状态，从而实现角色转换成为新主节点。

从零开始OGG实时同步数据至缓存数据库Redis详解

       在数据处理的快速化需求领域中，实时数据处理和实时查询已经成为了企业和组织获取即时洞察力的重要途径。内存数据库，作为一种高性能的数据存储和查询工具，其在实时数据场景下的应用日益广泛。然而，将大规模生成的数据实时同步至内存数据库仍是具有挑战性的任务。本文将带您深入了解Redis和GoldenGate for BigData的概念、部署方法，并详细介绍如何借助GoldenGate实现高效的数据实时同步到Redis的过程实践。

       Redis是基于键值对的缓存与存储系统，通过提供多种键值数据类型来适应不同场景下的缓存与存储需求。它不仅仅是一个简单的缓存工具，同时也能够胜任消息队列、任务队列以及主数据库等不同的角色。Redis的核心特性使其在实时数据处理和查询方面表现出色。

       GoldenGate for BigData是Oracle推出的产品，它作为可插入功能运行到Oracle GoldenGate Java交付框架中。此产品支持主流的大数据平台，包括Apache Hadoop、Cloudera Hadoop (CDH) 等，并支持主要的应用程序如HDFS、Hive、HBase、Kafka等。GoldenGate for BigData软件通过Redis Handler支持将更改数据捕获复制到Redis，并以三种不同的数据结构存储这些数据：Hash Map、Streams和JSON。

       在GoldenGate for BigData中，散列映射（Hash Map）是最常见的用户用例，其中Key是被推送到Redis的表和数据行的唯一标识符，存储在每个键位置的数据结构是一个散列映射，其中键是列名，值是列值。OGG trail文件将包含插入、更新以及删除操作，这些操作可以将数据推送到Redis。Redis 源码发车Handler将处理这些操作，将数据作为Java字符串推送到Redis哈希映射中，或者通过设置配置属性来保留原始字节值。

       Redis流（Streams）类似于Kafka主题，其中Redis键是流名，流的值是推送到Redis流的单个消息，每个消息通过时间戳和消息推送时的偏移量来标识。每个单独消息的值是一个散列映射，其中键是列名，值是列值。每个操作及其相关数据都会传播到Redis Streams，显示为新消息。

       JSONs（JSONs）中，键是被推送到Redis的表和数据行的唯一标识符，值为JSON对象，其中键是列名，值是列值。通过OGG trail文件文件将包含插入、更新和删除操作，这些操作可以将数据推送到Redis。Redis Handler将处理这些操作，将数据作为JSON对象存储在Redis中。

       接下来，我们通过安装部署环境来实现通过OGG将其他类型数据库的数据以Hash Map格式同步到Redis数据库中。首先，进行Redis的安装和部署。在Linux环境中，选择源码编译安装Redis-6.2，由于依赖包要求较低，整个安装过程较为简单。然后，下载并安装GoldenGate for BigData c。在安装Java之前，需要配置操作系统镜像ISO配置zypper本地源，以在局域网内在线安装Java。之后，安装OGG .8和Jedis客户端。

       在启动数据同步时，需确保Redis配置正确，并且用户具有相应的权限以执行相应的Redis命令。创建索引时可能会遇到权限相关报错。总结来说，通过Oracle GoldenGate for BigData和Redis的结合使用，我们可以实现大规模生成的数据的实时同步至内存数据库。Redis作为高性能的内存数据库，为实时数据处理提供了强大的支持；而GoldenGate for BigData作为关键工具，实现了异构数据库之间的实时数据同步。结合这两个先进技术工具，无论是实时查询、实时报表还是实时分析等场景，Redis的优势都将得到充分发挥。

Mac上安装Cluster集群模式Redis(6.2.8)

       在Mac上搭建Cluster模式的Redis(6.2.8)集群

       首先，确认你的Mac的IP地址为...，集群的IP和端口设置为.0.0.1:-。

       接下来进行安装和配置:

       下载并解压缩Redis源码

       进入编译阶段，对Redis进行定制安装

       然后是安装过程，确保一切顺利进行

       配置文件的修改是关键步骤，这里需要细致调整以适应集群环境。

       搭建集群分为两部分:

       编写启动脚本，确保每个服务节点能以集群模式启动

       通过关联集群配置，将节点连接起来，形成有效的集群网络

       验证集群是否正常工作:

       登录到集群中，检查集群的状态信息

       测试阶段，尝试操作：关闭主节点，会触发"(error) CLUSTERDOWN The cluster is down,redis集群不能读写"，因为主节点对于集群的正常运行至关重要

       关闭从节点则不会影响读写，因为从节点主要负责数据备份和负载均衡

一、Linux编译安装Redis

       本文主要介绍了如何在Linux环境下编译并安装Redis非关系型数据库管理系统。Redis作为NoSQL数据库的代表，其优势在于灵活性高，无需预定义数据结构，每个数据记录可自定义类型和字段。在Linux上，以CentOS为例，安装Redis的步骤如下：

       首先，确保系统已安装必要的依赖库。接着，访问Redis官网下载最新稳定版本6.2.6的源码包，并进行解压。进入源码目录，编译源码文件，这个过程可能需要根据你的机器性能耐心等待。

       接下来，使用编写的安装脚本来安装Redis。在安装过程中，如果遇到警告，可能需要注释掉大约第行的代码，然后重新运行脚本，按照默认路径安装。安装完成后，启动服务是下一步骤，通过执行特定命令来激活Redis服务。

       确认安装是否成功，可以使用`ps`命令查看Redis服务是否正在运行。最后，通过简单的存取数据操作，测试Redis是否已成功部署到你的Linux系统中。至此，Linux环境下的Redis安装与配置就完成了。

Redis Client-side Caching实现剖析与源码解读

       Redis Client-side Caching是一种优化方案，它在客户端实现本地缓存，以减轻Redis服务器的负担并减少网络开销。在应用频繁使用数据且读取操作远多于写入操作时，采用此方案能显著提升性能，降低数据库Redis的压力。

       Redis 6.0之前的版本存在客户端缓存实现的痛点，特别是在处理key更新时如何有效更新客户端缓存。为解决此问题，Redis 6.0引入了Key失效主动通知机制，此机制使得客户端缓存更易于管理，更加可靠且有效。

       Redis支持两种客户端缓存模式：默认模式和广播模式。在默认模式下，Redis服务器跟踪客户端访问的key，当某个key被修改时，服务器会向相关客户端发送失效消息。此模式有助于减少服务器的内存负担和CPU消耗，但需要服务器记录客户端关注的key。广播模式则不存储客户端访问的key信息，而是让客户端订阅特定前缀的key变动，从而在接收到更改通知时更新缓存。

       默认模式在使用Resp3协议时更为高效，因为它允许在同一连接中执行数据查询和接收失效消息。对于那些偏好使用Resp2协议或需要独立连接的客户端实现，可能会选择广播模式，以避免内存消耗和带宽限制。

       使用Redis客户端缓存时，应关注几个关键点：避免竞争问题，确保客户端在接收到失效通知后不缓存目标key；管理连接失效，确保客户端及时处理无效消息；合理配置Redis以限制内存使用，避免不必要的资源消耗。

       源代码解读涉及Redis版本6.2.8中的tracking功能实现。开启或关闭tracking功能的代码逻辑包括：在redis命令处理链中记录读取的key、在执行set命令后向客户端发送失效消息以更新缓存、以及根据客户端模式（默认或广播）向客户端发送通知消息。

python+redisblpop方法获取不到队列里的数据?

       Redis中的阻塞命令机制允许客户端在等待特定事件发生时被阻塞，尤其适用于需要等待可用数据或结果的场景。

       阻塞命令的主要功能在于等待数据，当数据不存在时，阻塞执行客户端直到数据符合条件或超时。常见的阻塞命令包括但不限于用于等待数据的命令。

       实现阻塞命令的核心原理依托于字典和链表结构，服务器能够高效管理多个客户端在同一个键上的阻塞状态，并在适当时刻解除阻塞。

       当数据同步尚未完成，且从节点没有足够数量执行客户端最新写命令时，阻塞当前客户端直至有足够的副本执行命令或超时。

       执行PAUSE或failover命令时，服务器使所有客户端（包括新建立连接的）进入挂起状态，直至超时。

       深入源码版本6.2.5，本文将从以下几个方面解读代码：主从同步机制、相关变量管理、阻塞等待数据的BLPOP命令处理、调用链分析。

       综上，BLPOP命令的处理过程包括LIST数据添加、解除阻塞调用链、超时处理、等待从节点数据同步调用链、以及执行命令的客户端被阻塞。

       在暂停客户端执行方面，当执行PAUSE命令时，仅设置server.client_pause_type标记，导致所有执行命令的客户端被阻塞。

       同样，UNPAUSE命令处理调用链仅将server.client_pause_type设置为CLIENT_PAUSE_OFF，并且解除server.paused_clients列表中客户端的阻塞状态。

       超时解除阻塞调用链则在serverCron中通过checkClientPauseTimeoutAndReturnIfPaused函数，判断时间是否超过预设的结束时间。若是，则调用unpauseClients函数，将server.client_pause_type设置为CLIENT_PAUSE_OFF，并遍历server.paused_clients列表，解阻客户端。

GitLab ARM源码在信创统信UOS下的搭建

       GitLab是一个基于Ruby on Rails语言开发的开源应用，提供私有化的Git项目仓库，可通过Web界面进行访问和管理。GitLab官方提供了多种安装方式，包括通过操作系统软件源安装、Docker容器部署以及源代码自编译安装。然而，GitLab官方构建的软件包和镜像主要针对X架构，并未提供针对ARMv8的版本。UOS操作系统支持多种CPU架构（AMD、ARM、MIPS、SW）和六种国产CPU平台（鲲鹏、龙芯、申威、海光、兆芯、飞腾）以及Intel/AMD的主流CPU，UOSV基于Debian stable，内核为4.，支持多种架构。由于GitLab官方Omnibus安装包并未支持arm架构，因此需要通过源码编译来安装GitLab-ce .1-stable在UOSV arm架构上。

       在部署GitLab-ce .1-stable之前，首先需要搭建编译环境，包括Ruby 2.7.4、redis 6.2.4、git 2..0、Go:.、Postgres: 、Node: .x、Nginx:1..1。编译过程较为平顺，但安装Ruby、Node和Go时需要注意选择国内镜像源以确保顺利编译。GitLab-ce:-1-stable版本要求Git2..x或以上版本，推荐使用Gitaly提供的git版本。UOSV 版本若选择调试工具包，则系统自带的git版本不符合要求，需要手动安装Gitaly所提供的git版本，确保版本满足GitLab要求。安装完成后，系统会显示版本为2..0，满足要求。此外，还需安装GraphicsMagick支持GitLab引入的自定义图标功能，以及安装Postfix邮件服务器和exiftool以支持GitLab Workhorse功能。Ruby的安装也非常重要，更换国内Ruby Gem源能够提高编译过程的稳定性。

       在完成编译环境搭建后，需为GitLab创建一个名为git的用户。GitLab .1及以后版本仅支持PostgreSQL数据库，GitLab-ce .1-stable需要PostgreSQL 或以上版本，并且需要pg_trgm扩展和btree_gist扩展。GitLab .0及以后版本要求Redis版本4.0或以上，推荐使用6.0或以上版本。部署GitLab-ce .1-stable需要编译三个部分：gitLab核心代码、gitlab-shell和GitLab-Workhorse。编译完成后，主要目录结构会根据部署环境进行相应调整。

       配置GitLab的各个组件时，需要将源码配置调整为已搭建环境的配置。主要修改数据库配置为已安装的PostgreSQL 版本。安装过程中可能会遇到一些小问题，如使用sudo执行某些命令时的超时错误。解决这类问题通常需要检查和调整环境变量，确保git账号的环境变量能够正常工作。例如，通过修改/etc/sudoers文件，确保在执行sudo命令时保留所需的环境变量，如GOPROXY。安装完成后，GitLab及其环境应已正确配置，系统架构识别为arm，GitLab版本为.1，redis版本未读取但不影响使用。至此，GitLab在UOSV arm架构上成功部署完毕。