发表于 | 分类于 |

net.ipv4.tcp_tw_recycle踩的坑

参考博文:https://www.cnxct.com/coping-with-the-tcp-time_wait-state-on-busy-linux-servers-in-chinese-and-dont-enable-tcp_tw_recycle/

在做系统调优的时候希望能加快TIME_WAIT状态的回收，通常将net.ipv4.tcp_tw_recycle选项开启，但是,请注意这里有个坑

故障现象

我们阿里云上有一台BETA测试服务器自从上次将CPU配置从4核升级到8核,然后重启服务器以后..访问该服务器上的web网站经常出现卡顿的现象,大概是每隔几分钟出现一次,很快又恢复.

1.初步怀疑是BETA服务器性能不行,包括后端数据库拥挤导致

但是经过排查发现,故障发生时,服务器性能没有任何压力,后端数据库也正常.

2.在服务器上创建一个hello world 的静态网站,发现连静态网站都无法访问.

在访问网站的时候,长时间停留在TCP_NODELAY set阶段:

阅读全文 »

发表于 | 分类于 |

ES集群优化

背景

时间:2019年01月3号

支付宝五福活动压测期间

ES集群架构

elasticsearch版本:2.4.6

ES集群服务器: 8台.其中5台16c32g.3台8c16g

服务器节点: mq-master,mq-slave,hsq-es1,hsq-es2,hsq-es3,hsq-es4,hsq-es5,hsq-es6

阅读全文 »

发表于 | 分类于 ， |

rabbitmq集群利用federation插件平滑迁移

关于feration的官方文档:federated Exchange

关于安装和配置feration的文档:RabbitMQ Federation集群

背景

公司的MQ集群出现了点问题,需要将业务迁移到一台新的MQ集群(包含2个MQ节点服务器).但是由于生产环境中一直有生产和消费数据产生,而且更麻烦的是还有大量延迟队列(生产的数据在一天甚至一周后再去消费).

此时如何做到不影响业务,不影响数据一致性,也不产生2次重复消费的前提下平滑迁移就很有挑战性.直接暴力的将业务迁移到新的rabbitmq集群显然不行.

此时就要求新集群服务器和老集群数据同步,并且将业务迁移到新的集群后,老的集群上未消费的数据,或者延迟队列的数据仍然在迁移后仍然能被消费掉..

federation插件完美的完成了这个任务

阅读全文 »

发表于 | 分类于 ， |

rabbitmq集群版本升级

介绍

本文档介绍rabbitmq所有节点从当前的3.6.3版本升级到3.6.5版本.

升级步骤

1.停止rabbitmq进程

1
service rabbitmq-server stop

2.备份延迟队列插件.(如果你安装了其他自定义插件,也需要先备份出来)

1
cp /usr/lib/rabbitmq/lib/rabbitmq_server-3.6.3/plugins/rabbitmq_delayed_message_exchange-0.0.1.ez  ~/

可以使用 yum -ql 软件包 (CentOS) 或者 dpkg -L 软件包来查找插件安装路径

3.下载软件包.本文档采用RPM包或者deb包安装

1
2
3
4
5
#Centos系统
https://github.com/rabbitmq/rabbitmq-server/releases/download/rabbitmq_v3_6_5/rabbitmq-server-3.6.5-1.noarch.rpm

#Ubuntu系统
https://github.com/rabbitmq/rabbitmq-server/releases/download/rabbitmq_v3_6_5/rabbitmq-server_3.6.5-1_all.deb
阅读全文 »

发表于 | 分类于 ， |

vim使用技巧

移动光标

  • 单行移动
w 移动光标到下一个单词开头
W 移动光标到下一个单词开头，长跳．比如／etc/letsencryt 被认为是一个单词
e 移动光标到下一个单词结尾
E 移动光标到下一个单词结尾,长跳
b 移动光标到上一个单词
B 移动光标到上一个单词,长跳
nw n代表数字,比如移动到下5个单词的头部,5w
ne n代表数字,比如移动到下5个单词的尾部,5e
阅读全文 »

发表于 | 分类于 ， |

kong+casssandra集群环境部署

kong简介

Kong是Mashape开源的一款API网关，起初是用来管理 Mashape 公司15000个微服务的，后来在2015年开源,现在已经在很多创业公司、大型企业和政府机构中广泛使用。基于nginx,Lua和Cassandra或PostgreSQL，支持分布式操作，有很强的可移植性和可扩展性。可以在任何一种基础设施上运行,作为应用和API之间的中间层，加上众多功能强大的插件，可以实现认证授权、访问控制等功能。并且提供易于使用的RESTful API来操作和配置系统。

有关kong的详细介绍请参考官网.

阅读全文 »

发表于 | 分类于 |

BETA服务器中毒案例

周末发现公司的BETA服务器占用CPU非常非常高.利用htop查看发现一个很奇怪的进程名:ZXGcBt

第一直觉就是服务器可能遭受了攻击,被植入了可疑程序.

解决步骤:

阅读全文 »