今天距离上次更新博客正好一个月的时间,一是因为我过完年准备换工作这段时间一直在忙于整理项目代码、文档,二是最近没有看什么新的内容(因为我博客其实是当做笔记用的,只是用来记录一些知识点方便以后查询)。今天正好刚开完项目交接会闲下来了就总结一下 2018 年和定一下 2019 年的目标。
2018 年
工作
工作上的内容没什么好说的,没什么大的波澜,做了四个项目,项目主要是公司内部平台并且属于”公司机密“,所以就不详细说了。
总结
前端又会用几个库 ant design、vue、nuxtjs、uikit等
语言学习了 go,看了 dart、rust、zephir,又尝试了 c++
mysql 优
redis 内部字符串没有使用 c 语言传统字符串表示而是用了自己定义的 SDS(simple dynamic string 动态字符串)类型, SDS 相关的定义在 src/sds.h src/sds.c 中,redis 一共定义了以下五种 SDS:
sds.h
struct __attribute__ ((__packed__)) sdshdr5 {
unsigned char flags; /* 低三位标识类型,高五位存储字符串长度 */
char buf[];
};
struct __attribute__ ((__packed__)) sdshdr8 {
uint8_t
前面12篇笔记对 redis 基本使用、配置、架构等做了简单的总结,内容没什么特别的都是 redis 基础知识。我是非常喜欢 redis 的,所以后面准备去学习 redis 的源码,并根据自己的理解对 redis 源码分篇章的讲下自己的理解。每篇文章会存在一个迭代的过程,因为我会根据自己的读取进度去同步记录笔记,所以我前期对一些内容的理解可能会存在偏差,所以随着我越往后读可能会矫正前面笔记的一些错误。
源码阅读分解
这里根据 redis 的数据结构及功能对 redis 源码进行分解,目录和书籍 << Redis 设计与实现 >> 的目录一致,中间可能会根据自己的理解
什么负载均衡
当我们单台的服务器无法支持用户请求的时候就需要把机器扩充到几台、几十台甚至几百台,而当用户请求到的时候我们合理的把用户请求分发到各个服务器,这就是负载均衡。负载均衡要理解最重要的一点,我这里用了“合理的分发”而不是平均分发,因为负载均衡并不是简简单单的均分流量,我们需要考虑到不同的服务器硬件配置、网络情况来合理的分配分配流量以达到各个服务器均不超载、合理利用集群资源达到最佳的服务质量。当然当我们用多台服务器做负载均衡时一般会选用相同规格的机器,但是不排除网络延迟、机器突发故障灯引起的单台服务器负载飙升处理能力下降等情况。
网站架构中负载均衡的应用
从图中可以看到网站中对负载均衡
MySQL 体系结构
从图我们可以看出,MySQL 有如下几部分组成:
连接池组件
管理服务和工具组件
SQL 接口组件
查询优化组件
优化器组件
缓冲组件
插件式存储引擎
物理文件
需要注意存储引擎是基于表的而不是库,比如我们可以在建表的时候为表指明存储引擎。
MySQL 存储引擎
常见存储引擎
InnoDB MySQL 5.5.8 版本之后的默认存储引擎,事务性,行锁,支持外键。
MyISAM 存储引擎不支持事务、表锁,支持全文索引,主要面对一些 OLAP 数据库应用。MySQL 5.5.6 版本之前的默认存储引擎。
NDB 存储引擎是一个集群存储引擎。
Memory 存储引擎将表
有时候我们需要在短时间内往 redis 里插入大量的数据,我们如果单条单条的出入会浪费很多时间和服务器资源,我们可以使用管道来实现快速的插入。
netcat
我们把需要插入 redis 的数据创建为如下的一个命令集文件
set key1 val1
set key2 val2
...
set key3 val3
我们使用如下命令执行数据导入
> $ cat /tmp/test|nc localhost 6379
+OK
+OK
+OK
pipe mode
使用 netcat 并不是一个可靠地方式,因为用netcat进行大规模插入时不能检查错误。从Redis 2.6开始redis-cli支
管道
redis 是基于客户端-服务端模型以及请求/响应协议的TCP服务。也就是说每次请求都需要建立 TCP 连接并发送命令和接受返回数据。所以当我们有大量的命令需要执行的话那么就需要花费太多的时间在 TCP 连接建立上。
依次 TCP 连接之后可以执行多条命令这样就可以提升命令执行速度,减少不必要的消耗,redis 就是通过支持管道技术来实现的。
管道示例如下:
> $ (printf "PING\r\nPING\r\nPING\r\n"; sleep 1) | nc localhost 6379
+PONG
+PONG
+PONG
发布订阅
发布订阅实现了不同的客户端对不同的频道发送
事务
redis 中和事务相关的命令有四个:MULTI EXEC DISCARD WATCH,MULTI 用于开始一个事务,EXEC 用于提交事务,DISCARD WATCH 可以为事务提供乐观锁(后面会讲具体使用)。
事务的流程:客户端连接服务器,MULTI 命令开启一个事务,然后客户端可以向服务器发送任意多条命令,但是命令不会立即执行,直到我们发送EXEC命令,所有命令才会根据发送的顺序依次执行。当我们在执行EXEC之前如果想要停止事务可以通过发送DISCARD来终止事务。
redis 事务有如下特性:
事务是一个隔离操作,事务中的命令会按顺序执行,事务执行过程中不会被其他客户端打断。
redis 是内存性 key-value 数据库,所以 redis 的存储数据的大小受内存的限制,redis 默认是不会删除 key 的(过期的可以除外),当内存使用完的时候,新的写入操作就会返回错误。但是 redis 支持配置回收策略来实现数据过期,Redis 只支持 LRU 回收算法(memcache也是默认算法)。
maxmemory
maxmemory 用来配置 Redis 存储数据的内存大小限制,如果我们要使用 redis 实现 LRU 算法,并限制数据的多少可以通过这个配置来实现。
示例
maxmemory 1g # 限制 1G 内存大小
设置maxmemory为0代表没有内存限
redis 的 string 类型是支持过期设置的,默认是永不过期的。
Redis 设置过期
redis 中设置设置 key 过期有3中方式
第一种在设置值的时候指定过期时间
Set 命令格式
SET key value [EX seconds] [PX milliseconds] [NX|XX]
EX second :设置键的过期时间为 second 秒。 SET key value EX second 效果等同于 SETEX key second value 。
PX millisecond :设置键的过期时间为 millisecond 毫秒。 3. SET key value PX m