技术文档收录
ASCII
Tcpdump
Linux
WireGuard 一键安装脚本 | 秋水逸冰
SSH Config 那些你所知道和不知道的事 | Deepzz's Blog
Linux 让终端走代理的几种方法
ubuntu 20.04 server 版设置静态 IP 地址 - 链滴
Linux 挂载 Windows 共享磁盘的方法 - 技术学堂
将 SMB/CIFS 网络硬盘永久的挂载到 Ubuntu 上 - 简书
linux 获取当前脚本的绝对路径 | aimuke
[Linux] Linux 使用 / dev/urandom 生成随机数 - piaohua's blog
Linux 生成随机数的多种方法 | Just Do It
Linux 的 Centos7 版本下忘记 root 或者普通用户密码怎么办?
Git 强制拉取覆盖本地
SSH 安全加固指南 - FreeBuf 网络安全行业门户
Linux 系统安全强化指南 - FreeBuf 网络安全行业门户
Linux 入侵排查 - FreeBuf 网络安全行业门户
sshd_config 配置详解 - 简书
SSH 权限详解 - SegmentFault 思否
CentOS 安装 node.js 环境 - SegmentFault 思否
如何在 CentOS 7 上安装 Node.js 和 npm | myfreax
几款 ping tcping 工具总结
OpenVpn 搭建教程 | Jesse's home
openvpn 一键安装脚本 - 那片云
OpenVPN 解决 每小时断线一次 - 爱开源
OpenVPN 路由设置 – 凤曦的小窝
OpenVPN 设置非全局代理 - 镜子的记录簿
TinyProxy 使用帮助 - 简书
Ubuntu 下使用 TinyProxy 搭建代理 HTTP 服务器_Linux_运维开发网_运维开发技术经验分享
Linux 软件包管理工具 Snap 常用命令 - 简书
linux systemd 参数详解
Systemd 入门教程:命令篇 - 阮一峰的网络日志
记一次 Linux 木马清除过程
rtty:在任何地方通过 Web 访问您的终端
02 . Ansible 高级用法 (运维开发篇)
终于搞懂了服务器为啥产生大量的 TIME_WAIT!
巧妙的 Linux 命令,再来 6 个!
77% 的 Linux 运维都不懂的内核问题,这篇全告诉你了
运维工程师必备:请收好 Linux 网络命令集锦
一份阿里员工的 Java 问题排查工具单
肝了 15000 字性能调优系列专题(JVM、MySQL、Nginx and Tomcat),看不完先收
作业调度算法(FCFS,SJF,优先级调度,时间片轮转,多级反馈队列) | The Blog Of WaiterXiaoYY
看了这篇还不会 Linux 性能分析和优化,你来打我
2019 运维技能风向标
更安全的 rm 命令,保护重要数据
求你了,别再纠结线程池大小了!
重启大法好!线上常见问题排查手册
Docker
「Docker」 - 保存镜像 - 知乎
终于可以像使用 Docker 一样丝滑地使用 Containerd 了!
私有镜像仓库选型:Harbor VS Quay - 乐金明的博客 | Robin Blog
exec 与 entrypoint 使用脚本 | Mr.Cheng
Dockerfile 中的 CMD 与 ENTRYPOINT
使用 Docker 配置 MySQL 主从数据库 - 墨天轮
Alpine vs Distroless vs Busybox – 云原生实验室 - Kubernetes|Docker|Istio|Envoy|Hugo|Golang | 云原生
再见,Docker!
Python
Pipenv:新一代Python项目环境与依赖管理工具 - 知乎
Python list 列表实现栈和队列
Python 各种排序 | Lesley's blog
Python 中使用 dateutil 模块解析时间 - SegmentFault 思否
一个小破网站,居然比 Python 官网还牛逼
Python 打包 exe 的王炸 - Nuitka
Window
批处理中分割字符串 | 网络进行时
Windows 批处理基础命令学习 - 简书
在Windows上设置WireGuard
Windows LTSC、LTSB、Server 安装 Windows Store 应用商店
中间件
Nginx 中的 Rewrite 的重定向配置与实践
RabbitMQ 的监控
RabbitMq 最全的性能调优笔记 - SegmentFault 思否
为什么不建议生产用 Redis 主从模式?
高性能消息中间件——NATS
详解:Nginx 反代实现 Kibana 登录认证功能
分布式系统关注点:仅需这一篇,吃透 “负载均衡” 妥妥的
仅需这一篇,妥妥的吃透” 负载均衡”
基于 nginx 实现上游服务器动态自动上下线——不需 reload
Nginx 学习书单整理
最常见的日志收集架构(ELK Stack)
分布式之 elk 日志架构的演进
CAT 3.0 开源发布,支持多语言客户端及多项性能提升
Kafka 如何做到 1 秒处理 1500 万条消息?
Grafana 与 Kibana
ELK 日志系统之通用应用程序日志接入方案
ELK 简易 Nginx 日志系统搭建: ElasticSearch+Kibana+Filebeat
记一次 Redis 连接池问题引发的 RST
把 Redis 当作队列来用,你好大的胆子……
Redis 最佳实践:业务层面和运维层面优化
Redis 为什么变慢了?常见延迟问题定位与分析
好饭不怕晚,扒一下 Redis 配置文件的底 Ku
rabbitmq 集群搭建以及万级并发下的性能调优
别再问我 Redis 内存满了该怎么办了
Nginx 状态监控及日志分析
数据库
SQLite全文检索
Mysql 查看用户连接数配置及每个 IP 的请求情况 - 墨天轮
防火墙-iptables
iptables 常用规则:屏蔽 IP 地址、禁用 ping、协议设置、NAT 与转发、负载平衡、自定义链
防火墙 iptables 企业防火墙之 iptables
Linux 防火墙 ufw 简介
在 Ubuntu 中用 UFW 配置防火墙
在 Ubuntu20.04 上怎样使用 UFW 配置防火墙 - 技术库存网
监控类
开箱即用的 Prometheus 告警规则集
prometheus☞搭建 | zyh
docker 部署 Prometheus 监控服务器及容器并发送告警 | chris'wang
PromQL 常用命令 | LRF 成长记
持续集成CI/CD
GitHub Actions 的应用场景 | 记录干杯
GithubActions · Mr.li's Blog
工具类
GitHub 中的开源网络广告杀手,十分钟快速提升网络性能
SSH-Auditor:一款 SHH 弱密码探测工具
别再找了,Github 热门开源富文本编辑器,最实用的都在这里了 - srcmini
我最喜欢的 CLI 工具
推荐几款 Redis 可视化工具
内网代理工具与检测方法研究
环境篇:数据同步工具 DataX
全能系统监控工具 dstat
常用 Web 安全扫描工具合集
给你一款利器!轻松生成 Nginx 配置文件
教程类
手把手教你打造高效的 Kubernetes 命令行终端
Keras 作者:给软件开发者的 33 条黄金法则
超详细的网络抓包神器 Tcpdump 使用指南
使用 fail2ban 和 FirewallD 黑名单保护你的系统
linux 下 mysql 数据库单向同步配置方法分享 (Mysql)
MySQL 快速删除大量数据(千万级别)的几种实践方案
GitHub 上的优质 Linux 开源项目,真滴牛逼!
WireGuard 教程:使用 Netmaker 来管理 WireGuard 的配置 – 云原生实验室 - Kubernetes|Docker|Istio|Envoy|Hugo|Golang | 云原生
Tailscale 基础教程:Headscale 的部署方法和使用教程 – 云原生实验室 - Kubernetes|Docker|Istio|Envoy|Hugo|Golang | 云原生
Nebula Graph 的 Ansible 实践
改进你的 Ansible 剧本的 4 行代码
Caddy 2 快速简单安装配置教程 – 高玩梁的博客
切换至 Caddy2 | 某不科学的博客
Caddy2 简明教程 - bleem
树莓派安装 OpenWrt 突破校园网限制 | Asttear's Blog
OpenVPN 路由设置 – 凤曦的小窝
个性化编译 LEDE 固件
盘点各种 Windows/Office 激活工具
[VirtualBox] 1、NAT 模式下端口映射
VirtualBox 虚拟机安装 openwrt 供本机使用
NUC 折腾笔记 - 安装 ESXi 7 - 苏洋博客
锐捷、赛尔认证 MentoHUST - Ubuntu 中文
How Do I Use A Client Certificate And Private Key From The IOS Keychain? | OpenVPN
比特记事簿: 笔记: 使用电信 TR069 内网架设 WireGuard 隧道异地组网
利用 GitHub API 获取最新 Releases 的版本号 | 这是只兔子
docsify - 生成文档网站简单使用教程 - SegmentFault 思否
【干货】Chrome 插件 (扩展) 开发全攻略 - 好记的博客
一看就会的 GitHub 骚操作,让你看上去像一位开源大佬
【计算机网络】了解内网、外网、宽带、带宽、流量、网速_墩墩分墩 - CSDN 博客
mac-ssh 配置 | Sail
如何科学管理你的密码
VirtualBox NAT 端口映射实现宿主机与虚拟机相互通信 | Shao Guoliang 的博客
CentOS7 配置网卡为静态 IP,如果你还学不会那真的没有办法了!
laisky-blog: 近期折腾 tailscale 的一些心得
使用 acme.sh 给 Nginx 安装 Let’ s Encrypt 提供的免费 SSL 证书 · Ruby China
acme 申请 Let’s Encrypt 泛域名 SSL 证书
从 nginx 迁移到 caddy
使用 Caddy 替代 Nginx,全站升级 https,配置更加简单 - Diamond-Blog
http.proxy - Caddy 中文文档
动手撸个 Caddy(二)| Caddy 命令行参数最全教程 | 飞雪无情的总结
Caddy | 学习笔记 - ijayer
Caddy 代理 SpringBoot Fatjar 应用上传静态资源
使用 graylog3.0 收集 open××× 日志进行审计_年轻人,少吐槽,多搬砖的技术博客_51CTO 博客
提高国内访问 github 速度的 9 种方法! - SegmentFault 思否
VM16 安装 macOS 全网最详细
2022 目前三种有效加速国内 Github
How to install MariaDB on Alpine Linux | LibreByte
局域网内电脑 - ipad 文件共享的三种方法 | 岚
多机共享键鼠软件横向测评 - 尚弟的小笔记
本文档发布于https://mrdoc.fun
-
+
首页
运维工程师必备:请收好 Linux 网络命令集锦
> 本文由 [简悦 SimpRead](http://ksria.com/simpread/) 转码, 原文地址 [www.tuicool.com](https://www.tuicool.com/articles/jaQJFn2) ![](https://img2.tuicool.com/YjEbUvR.jpg!web) 看着 kali linux 上百个网络命令,我陷入了沉思。专业的网络命令实在是太多了,如果要罗列,上千个也是有的。个人不是渗透测试工作者,大部分功能只知皮毛。所以本文是非常浅显的技术总结,仅聚焦工作中常用到的一些 Linux 命令。 由于 nio 的普及,ck10k 的问题已经成为过去式。现在随便一台服务器,就可以支持数十万级别的连接了。那么我们来算一下,100 万的连接需要多少资源。 首先,每一个连接都是文件句柄,所以需要文件描述符数量支持才行,每一个 socket 内存占用 15k-20k 之间,这样,仅维护相应 socket,就需要 20G 内存;而广播一个 1KB 的消息需要占用的带宽为 1000M! 查看当前系统的连接 --------- 如何看当前系统有多少连接呢?可以使用 netstat 结合 awk 进行统计。如下脚本,统计了每一种状态的 tcp 连接数量 ``` # netstat -antp | awk '{a[$6]++}END{ for(x in a)print x,a[x]}' LISTEN 41 CLOSE_WAIT 24 ESTABLISHED 150 Foreign 1 TIME_WAIT 92 ``` 但如果你在一台有上万连接的服务器上执行这个命令,你可能会等上很长时间。所以,我们有了第二代网络状态统计工具:netstat => ss。 ``` # ss -s Total: 191 (kernel 220) TCP: 5056 (estab 42, closed 5000, orphaned 3, synrecv 0, timewait 5000/0), ports 3469 ... ``` netstat 属于 net-tools 工具集,而 ss 属于 iproute。其命令对应如下,是时候和 net-tools 说 Bye 了。 ss 命令 基本使用 我们按照使用场景来看下 ss 的用法。 查看系统正在监听的 tcp 连接 ``` ss -atr ss -atn #仅ip ``` 查看系统中所有连接 ``` ss -alt ``` 查看监听 444 端口的进程 pid ``` ss -ltp | grep 444 ``` 查看进程 555 占用了哪些端口 ``` ss -ltp | grep 555 ``` 显示所有 UDP 连接 ``` ss -u -a ``` * 查看 TCP sockets,使用 - ta 选项 * 查看 UDP sockets,使用 - ua 选项 * 查看 RAW sockets,使用 - wa 选项 * 查看 UNIX sockets,使用 - xa 选项 和某个 IP 的所有连接 ``` ss dst 10.66.224.130 ss dst 10.66.224.130:http ss dst 10.66.224.130:smtp ss dst 10.66.224.130:443 ``` 显示所有的 HTTP 连接 ``` ss dport = :http ``` 查看连接本机最多的前 10 个 IP 地址 ``` netstat -antp | awk '{print $4}' | cut -d ':' -f1 | sort | uniq -c | sort -n -k1 -r | head -n 10 ``` Recv-Q 和 Send-Q --------------- 注意 ss 的执行结果,我们说明一下 Recv-Q 和 Send-Q。 ![](https://img2.tuicool.com/J7ZBBb7.jpg!web) 这两个值,在 LISTEN 和 ESTAB 状态分别代表不同意义。一般,正常的应用程序这两个值都应该为 0(backlog 除外)。数值越大,说明问题越严重。 #### LISTEN 状态 * Recv-Q:代表建立的连接还有多少没有被 accept,比如 Nginx 接受新连接变的很慢 * Send-Q:代表 listen backlog 值 #### ESTAB 状态 1. Recv-Q:内核中的数据还有多少 (bytes) 没有被应用程序读取,发生了一定程度的阻塞 2. Send-Q:代表内核中发送队列里还有多少 (bytes) 数据没有收到 ack,对端的接收处理能力不强 查看网络流量 ------ #### 查看流量 有很多工具可以看网络流量,但我最喜欢 sar。sar 是 linux 上功能最全的监控软件。如图,使用 sar -n DEV 1 即可每秒刷新一次网络流量。 ![](https://img2.tuicool.com/EfuU3a7.jpg!web) ``` watch cat /proc/net/dev ``` 查看占流量最大的 IP ----------- 有时候我们发现网络带宽占用非常高,但我们无法判断到底流量来自哪里。这时候,iftop 就可以帮上忙了。如图,可以很容易的找出流量来自哪台主机。 ![](https://img0.tuicool.com/vAVfuiI.jpg!web) 当你不确定内网的流量来源,比如有人在压测,api 调用不合理等,都可以通过这种方法找到他。 抓包 -- #### tcpdump 当我们需要判断是否有流量,或者调试一个难缠的 netty 应用问题,则可以通过抓包的方式去进行进一步的判断。在 Linux 上,可以通过 tcpdump 命令抓取数据,然后使用 Wireshark 进行分析。 ``` tcpdump -i eth0 -nn -s0 -v port 80 ``` * -i 指定网卡进行抓包 * -n 和 ss 一样,表示不解析域名 * -nn 两个 n 表示端口也是数字,否则解析成服务名 * -s 设置抓包长度,0 表示不限制 * -v 抓包时显示详细输出,-vv、-vvv 依次更加详细 1)加入 - A 选项将打印 ascii ,-X 打印 hex 码。 ``` tcpdump -A -s0 port 80 ``` 2)抓取特定 IP 的相关包 ``` tcpdump -i eth0 host 10.10.1.1 tcpdump -i eth0 dst 10.10.1.20 ``` 3)-w 参数将抓取的包写入到某个文件中 ``` tcpdump -i eth0 -s0 -w test.pcap ``` 4)tcpdump 支持表达式,还有更加复杂的例子,比如抓取系统中的 get,post 请求(非 https) ``` tcpdump -s 0 -v -n -l | egrep -i "POST /|GET /|Host:" ``` 更多参见 https://hackertarget.com/tcpdump-examples/ 抓取的数据,使用 wireshark 查看即可。 ![](https://img1.tuicool.com/z6B3Av6.jpg!web) HTTP 抓包 ------- 抓包工具将自身当作代理,能够抓取你的浏览器到服务器之间的通讯,并提供修改、重放、批量执行的功能。是发现问题,分析协议,攻击站点的利器。常用的有以下三款: * Burpsuite (跨平台) * Fiddle2 (Win) * Charles (Mac) 流量复制 ---- 你可能需要使你的生产环境 HTTP 真实流量在开发环境或者预演环境重现,这样就用到了流量复制功能。 有三个工具可供选择,个人倾向于 Gor。 * Gor * TCPReplay * TCPCopy 连接数过多问题 ------- ![](https://img1.tuicool.com/6B7vIrq.jpg!web) 根据 TCP/IP 介绍,socket 大概包含 10 个连接状态。我们平常工作中遇到的,除了针对 SYN 的拒绝服务攻击,如果有异常,大概率是 TIME_WAIT 和 CLOSE_WAIT 的问题。 TIME_WAIT 一般通过优化内核参数能够解决;CLOSE_WAIT 一般是由于程序编写不合理造成的,更应该引起开发者注意。 TIME_WAIT --------- TIME_WAIT 是主动关闭连接的一方保持的状态,像 nginx、爬虫服务器,经常发生大量处于 time_wait 状态的连接。TCP 一般在主动关闭连接后,会等待 2MS,然后彻底关闭连接。由于 HTTP 使用了 TCP 协议,所以在这些频繁开关连接的服务器上,就积压了非常多的 TIME_WAIT 状态连接。 某些系统通过 dmesg 可以看到以下信息。 ``` __ratelimit: 2170 callbacks suppressed TCP: time wait bucket table overflow TCP: time wait bucket table overflow TCP: time wait bucket table overflow TCP: time wait bucket table overflow ``` 通过 ss -s 命令查看,可以看到 timewait 已经有 2w 个了。 ``` ss -s Total: 174 (kernel 199) TCP: 20047 (estab 32, closed 20000, orphaned 4, synrecv 0, timewait 20000/0), ports 10785 ``` sysctl 命令可以设置这些参数,如果想要重启生效的话,加入 / etc/sysctl.conf 文件中。 ``` # 修改阈值 net.ipv4.tcp_max_tw_buckets = 50000 # 表示开启TCP连接中TIME-WAIT sockets的快速回收 net.ipv4.tcp_tw_reuse = 1 #启用timewait 快速回收。这个一定要开启,默认是关闭的。net.ipv4.tcp_tw_recycle= 1 # 修改系統默认的TIMEOUT时间,默认是60s net.ipv4.tcp_fin_timeout = 10 ``` 测试参数的话,可以使用 sysctl -w net.ipv4.tcp_tw_reuse = 1 这样的命令。如果是写入进文件的,则使用 sysctl -p 生效。 CLOSE_WAIT ---------- CLOSE_WAIT 一般是由于对端主动关闭,而我方没有正确处理的原因引起的。说白了,就是程序写的有问题,属于危害比较大的一种。 我们拿”csdn 谐音太郎” 遇到的一个典型案例来说明。 ![](https://img0.tuicool.com/NfuAJff.jpg!web) 代码是使用 HttpClient 的一个使用片段。在这段代码里,通过调用 in.close() 来进行连接资源的清理。但可惜的是,代码中有一个判断:非 200 状态的连接直接返回 null。在这种情况下,in 连赋值的机会都没有,当然也就无法关闭,然后就发生了连接泄漏。 所以,HttpClient 的正确关闭方式是使用其 api:abort()。 其他常用命令 ------ #### 应用软件 ``` # 断点续传下载文件 wget -c $url # 下载整站 wget -r -p -np -k $url # 发送网络连接(常用) curl -XGET $url # 传输文件 scp sftp # 数据镜像备份 rsync ``` #### 检测工具 ``` # 连通性检测 ping google.com # 到对端路由检测 tracepath google.com # 域名检测 dig google.com nslookup google.com # 网络扫描工具 nmap # 压力测试 iperf # 全方位监控工具(好东西) nmon ``` #### 配置工具 ``` # 停止某个网卡 ifdown # 开启某个网卡 ifup # 多功能管理工具 ethtool ``` #### 压力测试 ``` wrk ab webbench http_load ``` #### 多功能工具 ``` # 远程登录 telnet ssh nc # 防火墙 iptables -L ``` 结尾 -- 除了基本的工具,本文提到的很多网络命令,都不是预装的,需要使用 yum 自行安装。网络编程方面的学习,我觉得,读一下《TCP/IP 详解 卷 1:协议》这本书,然后写几个 Netty 应用就可以了。 NIO 我们已经在 I/O 篇提起了,在此不再做详细介绍。等你碰到所谓的拆包粘包问题,遇到心跳和限流问题,甚至遇到了流量整形问题,那么证明你离一个专业的网络编程程序员越来越近了。
Jonny
2022年5月3日 11:29
转发文档
收藏文档
上一篇
下一篇
手机扫码
复制链接
手机扫一扫转发分享
复制链接
【腾讯云】爆款2核2G4M云服务器一年45元,企业首购最高获赠300元京东卡
【腾讯云】爆款2核2G4M云服务器一年45元,企业首购最高获赠300元京东卡
Markdown文件
Word文件
PDF文档
PDF文档(打印)
分享
链接
类型
密码
更新密码
有效期