大数据篇 五月 21, 2018

Elasticsearch 集群安全控制

文章字数 5.4k 阅读约需 5 mins.

一般我们搭建起来的 es 集群都可以通过默认的 9200 端口来进行 API 访问,这在局域网上没有什么大问题,如果说搭建的环境在公网上,这将埋下巨大的隐患,因为任何人都可以操作 API 来进行增删改查,这是多么的恐怖!!

  1. 集群环境: elasticsearch 5.3.0;centos 7.2
  2. 集群公网环境

elasticsearch 集群搭建完成后,通过制定的端口都可以访问,但是实际情况中,我们并不想这样。我们可能想只有固定的ip地址才能访问,或者需要用户名、密码才能访问
对于如何控制 ...

查看全文

大数据篇 五月 08, 2018

Filebeat 实时收集 Nginx 日志

文章字数 8.8k 阅读约需 8 mins.

  1. Filebeat 版本为 5.3.0
    之所以使用 beats 家族的 Filebeat 来替代 Logstash 是因为 Logstash 实在太消耗资源了(服务器资源充足的土豪请无视)
    在官网下载 Logstash 有 89M,而 Filebeat 才8.4M,由此可见一斑
    Logstash 可以配置 jvm 参数,经过我本身的调试,内存分配小了,启动很慢有时根本起不来,分配大了,其他服务就没有资源了
    所有说对于配置低的服务器,选择 Filebeat 是最好的选择了,而且现在 Filebeat...
查看全文

大数据篇 五月 08, 2018

Logstash 实时收集 Nginx 日志

文章字数 2.2k 阅读约需 2 mins.

logstash 需要和 nginx 部署到一台机器
需要修改 nginx 的日志格式

更改日志记录的格式

    log_format json '{ "@timestamp": "$time_iso8601", '
                             '"time": "$time_iso8601", '
                             '"remote_addr": "$remote_addr", '...
查看全文
加载更多
0%