「 大数据篇 」 五月 21, 2018
Elasticsearch 集群安全控制
文章字数 5.4k 阅读约需 5 mins.
一般我们搭建起来的 es 集群都可以通过默认的 9200 端口来进行 API 访问,这在局域网上没有什么大问题,如果说搭建的环境在公网上,这将埋下巨大的隐患,因为任何人都可以操作 API 来进行增删改查,这是多么的恐怖!!
- 集群环境: elasticsearch 5.3.0;centos 7.2
- 集群公网环境
elasticsearch 集群搭建完成后,通过制定的端口都可以访问,但是实际情况中,我们并不想这样。我们可能想只有固定的ip地址才能访问,或者需要用户名、密码才能访问
对于如何控制 ...
「 大数据篇 」 五月 08, 2018
Filebeat 实时收集 Nginx 日志
文章字数 8.8k 阅读约需 8 mins.
- Filebeat 版本为 5.3.0
之所以使用 beats 家族的 Filebeat 来替代 Logstash 是因为 Logstash 实在太消耗资源了(服务器资源充足的土豪请无视)
在官网下载 Logstash 有 89M,而 Filebeat 才8.4M,由此可见一斑
Logstash 可以配置 jvm 参数,经过我本身的调试,内存分配小了,启动很慢有时根本起不来,分配大了,其他服务就没有资源了
所有说对于配置低的服务器,选择 Filebeat 是最好的选择了,而且现在 Filebeat...
「 大数据篇 」 五月 08, 2018
Logstash 实时收集 Nginx 日志
文章字数 2.2k 阅读约需 2 mins.
logstash 需要和 nginx 部署到一台机器
需要修改 nginx 的日志格式
更改日志记录的格式
log_format json '{ "@timestamp": "$time_iso8601", '
'"time": "$time_iso8601", '
'"remote_addr": "$remote_addr", '...
查看全文