从Kafka实时抓取JAVA日志
前言本篇博客完整的记录了zk及kafka完整安装过程，并协同开发将java应用日志，直接输出至kafka集群，随后通过logstash的kafka input插件进行主题消费，并通过正则进行数据结构化，最后输出到es集群（es集群通过k8s采用eck模式进行安装），数据结果则使用kibaka进行展示，默认关闭selinux及防火墙，系统优化已提前做完；
部署环境介绍
平台
IP
主机名
ECK版本
ZK版本
Kafka版本
CentOS Linux release 7.7.1908
192.168.6.10
DEVOPSSRV01
ELK:7.10.1
3.6.2 2.5.0
CentOS Linux release 7.7.1908
192.168.6.39
DBSRV01
ELK:7.10.1
3.6.2
2.5.0
CentOS Linux release 7.7.1908
192.168.6.45
TSSRV02
ELK:7.10.1
3.6.2
2.5.0
ZooKeeper集群安装与配置安装并配置JDK1.8环境1234567891011121 ...
Arthas
简介Arthas 是阿里开源的 Java 诊断工具，深受开发者喜爱。在线排查问题，无需重启；动态跟踪 Java 代码；实时监控 JVM 状态。Arthas 支持 JDK 6+，支持 Linux/Mac/Windows，采用命令行交互模式，同时提供丰富的 Tab 自动补全功能，进一步方便进行问题的定位和诊断
Arthas可以解决什么问题？Arthas 是Alibaba开源的Java诊断工具，深受开发者喜爱。当你遇到以下类似问题而束手无策时，Arthas可以帮助你解决：
这个类从哪个 jar 包加载的？为什么会报各种类相关的 Exception？
我改的代码为什么没有执行到？难道是我没 commit？分支搞错了？
遇到问题无法在线上 debug，难道只能通过加日志再重新发布吗？
线上遇到某个用户的数据处理有问题，但线上同样无法 debug，线下无法重现！
是否有一个全局视角来查看系统的运行状况？
有什么办法可以监控到JVM的实时运行状态？
怎么快速定位应用的热点，生成火焰图？
怎样直接从JVM内查找某个类的实例？
下载与安装Arthas考虑后续生产是非互联网环境，所以采用全量包安装方法 ...
xenserver 创建本地iso库
创建1xe sr-create name-label=ISO type=iso device-config:location=/iso device-config:legacy_mode=true content-type=iso
删除首先， 运行下面的命令来确定SR的UUID：
1xe sr-list name-label=<Name of the SR>
其次，确定对应PBD的UUID：
1xe pbd-list sr-uuid=<UUID of SR>
再次，断开PBD：
1xe pbd-unplug uuid=<UUID of PBD>
最后，删除记录
1xe sr-forget uuid=<UUID of SR>
对话（三）
“大奶奶。我只是个唱小曲的。您又何苦如此呢。”
“唱曲的才可恨。自古就是婊子无情戏子无义。你这贱货现在是把两样都占了。”
“大奶奶。我虽是个戏子。但也知道廉耻。又怎会与，与那行当一般。”
“贱货。勾引了姑奶奶的男人害死不承认。来人，给我把这贱货剁了喂狗。”
vpn与防火墙
vpn与防火墙
vpn
通过vpn可以建立隧道。通过隧道从外网访问内网。
有两种模式。
硬件vpn与软件vpn。
硬件模式通过两个硬件vpn链接，建立静态隧道。
软件vpn通过分发vpn证书，通过软件建立一条通信隧道。
vpn网址为218.30.21.16:8080
最主要的功能目录是虚拟专网的静态隧道和VRC管理。
协商成功就是链接成功，停止是断开，正在协商可能是连接中或者有问题未连接上。
软件vpn安装
需要先安装vrc客户端，并且拥有证书。
安装好客户端后，打开客户端软件吗，新建连接，添加证书。证书为口令加证书模式，本地tar文件，然后选择自己的证书并导入。
导入证书之后，输入自己的密码，然后在高级选项中勾选自动认证（保存设置）和保存证书设置，记录客户端日志（基本日志），保存设置。需要注意，每改一个不同项的设置后，都要保存设置。
全部设置完毕之后，选择连接。客户端开始创建隧道。当图标从红色变成绿色，表示隧道建立成功，连接可用。
防火墙
通过防火墙链接，并且进行地址映射。
在实际环境中，整个集群只有一个或几个公网IP。但是其实内部的服务器有许多台，为了使不同的业务能找到不同的服务器 ...