「 大数据篇 」 五月 21, 2018
Elasticsearch 集群安全控制
文章字数 5.4k 阅读约需 5 mins.
一般我们搭建起来的 es 集群都可以通过默认的 9200 端口来进行 API 访问,这在局域网上没有什么大问题，如果说搭建的环境在公网上，这将埋下巨大的隐患，因为任何人都可以操作 API 来进行增删改查，这是多么的恐怖！！
- 集群环境： elasticsearch 5.3.0；centos 7.2
- 集群公网环境
elasticsearch 集群搭建完成后，通过制定的端口都可以访问，但是实际情况中，我们并不想这样。我们可能想只有固定的ip地址才能访问，或者需要用户名、密码才能访问
对于如何控制 ...
「 大数据篇 」 五月 08, 2018
Filebeat 实时收集 Nginx 日志
文章字数 8.8k 阅读约需 8 mins.
- Filebeat 版本为 5.3.0
之所以使用 beats 家族的 Filebeat 来替代 Logstash 是因为 Logstash 实在太消耗资源了（服务器资源充足的土豪请无视）
在官网下载 Logstash 有 89M，而 Filebeat 才8.4M，由此可见一斑
Logstash 可以配置 jvm 参数，经过我本身的调试，内存分配小了，启动很慢有时根本起不来，分配大了，其他服务就没有资源了
所有说对于配置低的服务器，选择 Filebeat 是最好的选择了，而且现在 Filebeat...
「 大数据篇 」 五月 08, 2018
Logstash 实时收集 Nginx 日志
文章字数 2.2k 阅读约需 2 mins.
logstash 需要和 nginx 部署到一台机器
需要修改 nginx 的日志格式
更改日志记录的格式
log_format json '{ "@timestamp": "$time_iso8601", '
'"time": "$time_iso8601", '
'"remote_addr": "$remote_addr", '...