技术文档收录
ASCII
Tcpdump
Linux
WireGuard 一键安装脚本 | 秋水逸冰
SSH Config 那些你所知道和不知道的事 | Deepzz's Blog
Linux 让终端走代理的几种方法
ubuntu 20.04 server 版设置静态 IP 地址 - 链滴
Linux 挂载 Windows 共享磁盘的方法 - 技术学堂
将 SMB/CIFS 网络硬盘永久的挂载到 Ubuntu 上 - 简书
linux 获取当前脚本的绝对路径 | aimuke
[Linux] Linux 使用 / dev/urandom 生成随机数 - piaohua's blog
Linux 生成随机数的多种方法 | Just Do It
Linux 的 Centos7 版本下忘记 root 或者普通用户密码怎么办?
Git 强制拉取覆盖本地
SSH 安全加固指南 - FreeBuf 网络安全行业门户
Linux 系统安全强化指南 - FreeBuf 网络安全行业门户
Linux 入侵排查 - FreeBuf 网络安全行业门户
sshd_config 配置详解 - 简书
SSH 权限详解 - SegmentFault 思否
CentOS 安装 node.js 环境 - SegmentFault 思否
如何在 CentOS 7 上安装 Node.js 和 npm | myfreax
几款 ping tcping 工具总结
OpenVpn 搭建教程 | Jesse's home
openvpn 一键安装脚本 - 那片云
OpenVPN 解决 每小时断线一次 - 爱开源
OpenVPN 路由设置 – 凤曦的小窝
OpenVPN 设置非全局代理 - 镜子的记录簿
TinyProxy 使用帮助 - 简书
Ubuntu 下使用 TinyProxy 搭建代理 HTTP 服务器_Linux_运维开发网_运维开发技术经验分享
Linux 软件包管理工具 Snap 常用命令 - 简书
linux systemd 参数详解
Systemd 入门教程:命令篇 - 阮一峰的网络日志
记一次 Linux 木马清除过程
rtty:在任何地方通过 Web 访问您的终端
02 . Ansible 高级用法 (运维开发篇)
终于搞懂了服务器为啥产生大量的 TIME_WAIT!
巧妙的 Linux 命令,再来 6 个!
77% 的 Linux 运维都不懂的内核问题,这篇全告诉你了
运维工程师必备:请收好 Linux 网络命令集锦
一份阿里员工的 Java 问题排查工具单
肝了 15000 字性能调优系列专题(JVM、MySQL、Nginx and Tomcat),看不完先收
作业调度算法(FCFS,SJF,优先级调度,时间片轮转,多级反馈队列) | The Blog Of WaiterXiaoYY
看了这篇还不会 Linux 性能分析和优化,你来打我
2019 运维技能风向标
更安全的 rm 命令,保护重要数据
求你了,别再纠结线程池大小了!
重启大法好!线上常见问题排查手册
Docker
「Docker」 - 保存镜像 - 知乎
终于可以像使用 Docker 一样丝滑地使用 Containerd 了!
私有镜像仓库选型:Harbor VS Quay - 乐金明的博客 | Robin Blog
exec 与 entrypoint 使用脚本 | Mr.Cheng
Dockerfile 中的 CMD 与 ENTRYPOINT
使用 Docker 配置 MySQL 主从数据库 - 墨天轮
Alpine vs Distroless vs Busybox – 云原生实验室 - Kubernetes|Docker|Istio|Envoy|Hugo|Golang | 云原生
再见,Docker!
Python
Pipenv:新一代Python项目环境与依赖管理工具 - 知乎
Python list 列表实现栈和队列
Python 各种排序 | Lesley's blog
Python 中使用 dateutil 模块解析时间 - SegmentFault 思否
一个小破网站,居然比 Python 官网还牛逼
Python 打包 exe 的王炸 - Nuitka
Window
批处理中分割字符串 | 网络进行时
Windows 批处理基础命令学习 - 简书
在Windows上设置WireGuard
Windows LTSC、LTSB、Server 安装 Windows Store 应用商店
中间件
Nginx 中的 Rewrite 的重定向配置与实践
RabbitMQ 的监控
RabbitMq 最全的性能调优笔记 - SegmentFault 思否
为什么不建议生产用 Redis 主从模式?
高性能消息中间件——NATS
详解:Nginx 反代实现 Kibana 登录认证功能
分布式系统关注点:仅需这一篇,吃透 “负载均衡” 妥妥的
仅需这一篇,妥妥的吃透” 负载均衡”
基于 nginx 实现上游服务器动态自动上下线——不需 reload
Nginx 学习书单整理
最常见的日志收集架构(ELK Stack)
分布式之 elk 日志架构的演进
CAT 3.0 开源发布,支持多语言客户端及多项性能提升
Kafka 如何做到 1 秒处理 1500 万条消息?
Grafana 与 Kibana
ELK 日志系统之通用应用程序日志接入方案
ELK 简易 Nginx 日志系统搭建: ElasticSearch+Kibana+Filebeat
记一次 Redis 连接池问题引发的 RST
把 Redis 当作队列来用,你好大的胆子……
Redis 最佳实践:业务层面和运维层面优化
Redis 为什么变慢了?常见延迟问题定位与分析
好饭不怕晚,扒一下 Redis 配置文件的底 Ku
rabbitmq 集群搭建以及万级并发下的性能调优
别再问我 Redis 内存满了该怎么办了
Nginx 状态监控及日志分析
数据库
SQLite全文检索
Mysql 查看用户连接数配置及每个 IP 的请求情况 - 墨天轮
防火墙-iptables
iptables 常用规则:屏蔽 IP 地址、禁用 ping、协议设置、NAT 与转发、负载平衡、自定义链
防火墙 iptables 企业防火墙之 iptables
Linux 防火墙 ufw 简介
在 Ubuntu 中用 UFW 配置防火墙
在 Ubuntu20.04 上怎样使用 UFW 配置防火墙 - 技术库存网
监控类
开箱即用的 Prometheus 告警规则集
prometheus☞搭建 | zyh
docker 部署 Prometheus 监控服务器及容器并发送告警 | chris'wang
PromQL 常用命令 | LRF 成长记
持续集成CI/CD
GitHub Actions 的应用场景 | 记录干杯
GithubActions · Mr.li's Blog
工具类
GitHub 中的开源网络广告杀手,十分钟快速提升网络性能
SSH-Auditor:一款 SHH 弱密码探测工具
别再找了,Github 热门开源富文本编辑器,最实用的都在这里了 - srcmini
我最喜欢的 CLI 工具
推荐几款 Redis 可视化工具
内网代理工具与检测方法研究
环境篇:数据同步工具 DataX
全能系统监控工具 dstat
常用 Web 安全扫描工具合集
给你一款利器!轻松生成 Nginx 配置文件
教程类
手把手教你打造高效的 Kubernetes 命令行终端
Keras 作者:给软件开发者的 33 条黄金法则
超详细的网络抓包神器 Tcpdump 使用指南
使用 fail2ban 和 FirewallD 黑名单保护你的系统
linux 下 mysql 数据库单向同步配置方法分享 (Mysql)
MySQL 快速删除大量数据(千万级别)的几种实践方案
GitHub 上的优质 Linux 开源项目,真滴牛逼!
WireGuard 教程:使用 Netmaker 来管理 WireGuard 的配置 – 云原生实验室 - Kubernetes|Docker|Istio|Envoy|Hugo|Golang | 云原生
Tailscale 基础教程:Headscale 的部署方法和使用教程 – 云原生实验室 - Kubernetes|Docker|Istio|Envoy|Hugo|Golang | 云原生
Nebula Graph 的 Ansible 实践
改进你的 Ansible 剧本的 4 行代码
Caddy 2 快速简单安装配置教程 – 高玩梁的博客
切换至 Caddy2 | 某不科学的博客
Caddy2 简明教程 - bleem
树莓派安装 OpenWrt 突破校园网限制 | Asttear's Blog
OpenVPN 路由设置 – 凤曦的小窝
个性化编译 LEDE 固件
盘点各种 Windows/Office 激活工具
[VirtualBox] 1、NAT 模式下端口映射
VirtualBox 虚拟机安装 openwrt 供本机使用
NUC 折腾笔记 - 安装 ESXi 7 - 苏洋博客
锐捷、赛尔认证 MentoHUST - Ubuntu 中文
How Do I Use A Client Certificate And Private Key From The IOS Keychain? | OpenVPN
比特记事簿: 笔记: 使用电信 TR069 内网架设 WireGuard 隧道异地组网
利用 GitHub API 获取最新 Releases 的版本号 | 这是只兔子
docsify - 生成文档网站简单使用教程 - SegmentFault 思否
【干货】Chrome 插件 (扩展) 开发全攻略 - 好记的博客
一看就会的 GitHub 骚操作,让你看上去像一位开源大佬
【计算机网络】了解内网、外网、宽带、带宽、流量、网速_墩墩分墩 - CSDN 博客
mac-ssh 配置 | Sail
如何科学管理你的密码
VirtualBox NAT 端口映射实现宿主机与虚拟机相互通信 | Shao Guoliang 的博客
CentOS7 配置网卡为静态 IP,如果你还学不会那真的没有办法了!
laisky-blog: 近期折腾 tailscale 的一些心得
使用 acme.sh 给 Nginx 安装 Let’ s Encrypt 提供的免费 SSL 证书 · Ruby China
acme 申请 Let’s Encrypt 泛域名 SSL 证书
从 nginx 迁移到 caddy
使用 Caddy 替代 Nginx,全站升级 https,配置更加简单 - Diamond-Blog
http.proxy - Caddy 中文文档
动手撸个 Caddy(二)| Caddy 命令行参数最全教程 | 飞雪无情的总结
Caddy | 学习笔记 - ijayer
Caddy 代理 SpringBoot Fatjar 应用上传静态资源
使用 graylog3.0 收集 open××× 日志进行审计_年轻人,少吐槽,多搬砖的技术博客_51CTO 博客
提高国内访问 github 速度的 9 种方法! - SegmentFault 思否
VM16 安装 macOS 全网最详细
2022 目前三种有效加速国内 Github
How to install MariaDB on Alpine Linux | LibreByte
局域网内电脑 - ipad 文件共享的三种方法 | 岚
多机共享键鼠软件横向测评 - 尚弟的小笔记
本文档发布于https://mrdoc.fun
-
+
首页
别再问我 Redis 内存满了该怎么办了
> 本文由 [简悦 SimpRead](http://ksria.com/simpread/) 转码, 原文地址 [www.tuicool.com](https://www.tuicool.com/articles/Uv63qiu) ![](https://img1.tuicool.com/2ueM3ym.jpg!web) `Redis` 的文章,我之前写过一篇关于 **「Redis 的缓存的三大问题」** ,累计阅读也快 800 了,对于还只有 3k 左右的粉丝量,能够达到这个阅读量,已经是比较难了。 这说明那篇文章写的还过得去,收到很多人的阅读肯定,感兴趣的看一下 [ [看完这篇 Redis 缓存三大问题,保你能和面试官互扯。](http://mp.weixin.qq.com/s?__biz=MzU1MzE4OTU0OQ==&mid=2247483977&idx=1&sn=e42c9aedb8bb1c914afa5f2f74324d1f&chksm=fbf7eb8bcc80629dac2c4074c393ca672915bab26864a277251883f1f6c2a6d96338dae3e5b0&scene=21#wechat_redirect) ]。 「三大缓存问题」只是 Redis 的其中的一小部分的知识点,想要深入学习 Redis 还要学习比较多的知识点。 那么今天就带来了一个面试常问的一个问题: **「假如你的 Redis 内存满了怎么办?」** 长期的把 Redis 作为缓存使用,总有一天会存满的时候对吧。 这个面试题不慌呀,在 Redis 中有配置参数 `maxmemory` 可以 **「设置 Redis 内存的大小」** 。 在 Redis 的配置文件 `redis.conf` 文件中,配置 `maxmemory` 的大小参数如下所示: 实际生产中肯定不是 `100mb` 的大小哈,不要给误导了,这里我只是让大家认识这个参数,一般小的公司都是设置为 `3G` 左右的大小。 除了在配置文件中配置生效外,还可以通过命令行参数的形式,进行配置,具体的配置命令行如下所示: ``` //获取maxmemory配置参数的大小127.0.0.1:6379> config get maxmemory//设置maxmemory参数为100mb127.0.0.1:6379> config set maxmemory 100mb ``` 倘若实际的存储中超出了 Redis 的配置参数的大小时,Redis 中有 **「淘汰策略」** ,把 「需要淘汰的 key 给淘汰掉,整理出干净的一块内存给新的 key 值使用」 。 接下来我们就详细的聊一聊 Redis 中的淘汰策略,并且深入的理解每个淘汰策略的原理和应用的场景。 淘汰策略 ---- Redis 提供了 **「6 种的淘汰策略」** ,其中默认的是 `noeviction` ,这 6 种淘汰策略如下: 1. `noeviction` ( **「默认策略」** ):若是内存的大小达到阀值的时候,所有申请内存的指令都会报错。 2. `allkeys-lru` :所有 key 都是使用 **「LRU 算法」** 进行淘汰。 3. `volatile-lru` :所有 **「设置了过期时间的 key 使用 LRU 算法」** 进行淘汰。 4. `allkeys-random` :所有的 key 使用 **「随机淘汰」** 的方式进行淘汰。 5. `volatile-random` :所有 **「设置了过期时间的 key 使用随机淘汰」** 的方式进行淘汰。 6. `volatile-ttl` :所有设置了过期时间的 key **「根据过期时间进行淘汰,越早过期就越快被淘汰」** 。 假如在 Redis 中的数据有 **「一部分是热点数据,而剩下的数据是冷门数据」** ,或者 **「我们不太清楚我们应用的缓存访问分布状况」** ,这时可以使用 `allkeys-lru` 。 假如所有的数据访问的频率大概一样,就可以使用 `allkeys-random` 的淘汰策略。 假如要配置具体的淘汰策略,可以在 `redis.conf` 配置文件中配置,具体配置如下所示: 这只需要把注释给打开就可以,并且配置指定的策略方式,另一种的配置方式就是命令的方式进行配置,具体的执行命令如下所示: ``` // 获取maxmemory-policy配置127.0.0.1:6379> config get maxmemory-policy// 设置maxmemory-policy配置为allkeys-lru127.0.0.1:6379> config set maxmemory-policy allkeys-lru ``` 在介绍 6 种的淘汰策略方式的时候,说到了 LRU 算法, **「那么什么是 LRU 算法呢?」** LRU 算法 ------ `LRU(Least Recently Used)` 即表示最近最少使用,也就是在最近的时间内最少被访问的 key,算法根据数据的历史访问记录来进行淘汰数据。 它的核心的思想就是: 「假如一个 key 值在最近很少被使用到,那么在将来也很少会被访问」 。 实际上 Redis 实现的 LRU 并不是真正的 LRU 算法,也就是名义上我们使用 LRU 算法淘汰键,但是实际上被淘汰的键并不一定是真正的最久没用的。 Redis 使用的是近似的 LRU 算法, 「通过随机采集法淘汰 key,每次都会随机选出 5 个 key,然后淘汰里面最近最少使用的 key」 。 这里的 5 个 key 只是默认的个数,具体的个数也可以在配置文件中进行配置,在配置文件中的配置如下图所示: 当近似 LRU 算法取值越大的时候就会越接近真实的 LRU 算法,可以这样理解,因为 「取值越大那么获取的数据就越全,淘汰中的数据的就越接近最近最少使用的数据」 。 那么为了实现根据时间实现 LRU 算法,Redis 必须为每个 key 中额外的增加一个内存空间用于存储每个 key 的时间,大小是 3 字节。 在 Redis 3.0 中对近似的 LRU 算法做了一些优化,Redis 中会维护大小是 `16` 的一个候选池的内存。 当第一次随机选取的采样数据,数据都会被放进候选池中,并且候选池中的数据会根据时间进行排序。 当第二次以后选取的数据,只有 **「小于候选池内的最小时间」** 的才会被放进候选池中。 当某一时刻候选池的数据满了,那么时间最大的 key 就会被挤出候选池。当执行淘汰时,直接从候选池中选取最近访问时间最小的 key 进行淘汰。 这样做的目的就是选取出最近似符合最近最少被访问的 key 值,能够正确的淘汰 key 值,因为随机选取的样本中的最小时间可能不是真正意义上的最小时间。 但是 LRU 算法有一个弊端:就是假如一个 key 值在以前都没有被访问到,然而最近一次被访问到了,那么就会认为它是热点数据,不会被淘汰。 然而有些数据以前经常被访问到,只是最近的时间内没有被访问到,这样就导致这些数据很可能被淘汰掉,这样一来就会出现误判而淘汰热点数据。 于是在 Redis 4.0 的时候除了 LRU 算法,新加了一种 LFU 算法, **「那么什么是 LFU 算法算法呢?」** LFU 算法 ------ `LFU(Least Frequently Used)` 即表示最近频繁被使用,也就是最近的时间段内,频繁被访问的 key,它以最近的时间段的被访问次数的频率作为一种判断标准。 它的核心思想就是:根据 key 最近被访问的频率进行淘汰,比较少被访问的 key 优先淘汰,反之则优先保留。 LFU 算法反映了一个 key 的热度情况,不会因为 LRU 算法的偶尔一次被访问被认为是热点数据。 在 LFU 算法中支持 `volatile-lfu` 策略和 `allkeys-lfu` 策略。 以上介绍了 Redis 的 6 种淘汰策略,这 6 种淘汰策略旨在告诉我们怎么做,但是什么时候做?这个还没说,下面我们就来详细的了解 Redis 什么时候执行淘汰策略。 删除过期键策略 ------- 在 Redis 中有三种删除的操作此策略,分别是: 1. 「定时删除」:创建一个定时器,定时的执行对 key 的删除操作。 2. 「惰性删除」:每次只有再访问 key 的时候,才会检查 key 的过期时间,若是已经过期了就执行删除。 3. 「定期删除」:每隔一段时间,就会检查删除掉过期的 key。 「定时删除」对于 **「内存来说是友好的」** ,定时清理出干净的空间,但是对于 **「cpu 来说并不是友好的」** ,程序需要维护一个定时器,这就会占用 cpu 资源。 「惰性的删除」对于 **「cpu 来说是友好的」** ,cpu 不需要维护其它额外的操作,但是对于 **「内存来说是不友好的」** ,因为要是有些 key 一直没有被访问到,就会一直占用着内存。 定期删除是上面两种方案的折中方案 **,每隔一段时间删除过期的 key,也就是根据具体的业务,合理的取一个时间定期的删除 key**。 通过 **「最合理控制删除的时间间隔」** 来删除 key,减 **「少对 cpu 的资源的占用消耗」** ,使删除操作合理化。 RDB 和 AOF 的淘汰处理 --------------- 在 Redis 中持久化的方式有两种 `RDB` 和 `AOF` ,具体这两种详细的持久化介绍,可以参考这一篇文章 [ [面试造飞机系列:面对 Redis 持久化连环 Call,你还顶得住吗?](http://mp.weixin.qq.com/s?__biz=MzU1MzE4OTU0OQ==&mid=2247484021&idx=1&sn=4c228c705cfd524db3cf27425fde1ba0&chksm=fbf7ebb7cc8062a138b9baad194548983095806f8f15a82e1a95f18f19999c76d750aa91b93b&scene=21#wechat_redirect) ]。 在 RDB 中是以快照的形式获取内存中某一时间点的数据副本,在创建 RDB 文件的时候可以通过 `save` 和 `bgsave` 命令执行创建 RDB 文件。 「这两个命令都不会把过期的 key 保存到 RDB 文件中」,这样也能达到删除过期 key 的效果。 当在启动 Redis 载入 RDB 文件的时候, `Master` 不会把过期的 key 载入,而 `Slave` 会把过期的 key 载入。 在 AOF 模式下,Redis 提供了 Rewite 的优化措施,执行的命令分别是 `REWRITEAOF` 和 `BGREWRITEAOF` , 「这两个命令都不会把过期的 key 写入到 AOF 文件中,也能删除过期 key」 。 ``` 特别推荐一个分享架构+算法的优质内容,还没关注的小伙伴,可以长按关注一下: ``` ![](https://img1.tuicool.com/eEjEFnz.jpg!web) ``` 长按订阅更多精彩▼ ``` ![](https://img0.tuicool.com/rEFzyej.jpg!web) 如有收获,点个在看,诚挚感谢
Jonny
2022年5月3日 11:14
转发文档
收藏文档
上一篇
下一篇
手机扫码
复制链接
手机扫一扫转发分享
复制链接
【腾讯云】爆款2核2G4M云服务器一年45元,企业首购最高获赠300元京东卡
【腾讯云】爆款2核2G4M云服务器一年45元,企业首购最高获赠300元京东卡
Markdown文件
Word文件
PDF文档
PDF文档(打印)
分享
链接
类型
密码
更新密码
有效期