大数据篇 十一月 22, 2017

大数据之路 Hadoop 环境搭建

文章字数 12k 阅读约需 11 mins.

首先要说明的是,本篇文章用的 Hadoop 的版本都是目前最新版,直接在官网上下载就可以了
有些命令可能已经不适应之前的旧版本了,以最新的版的为准
以下操作命令均是在服务的根目录下,使用的是相对目录

当...

查看全文

大数据篇 十一月 22, 2017

大数据之路 Hadoop 环境搭建

文章字数 12k 阅读约需 11 mins.

首先要说明的是,本篇文章用的 Hadoop 的版本都是目前最新版,直接在官网上下载就可以了
有些命令可能已经不适应之前的旧版本了,以最新的版的为准
以下操作命令均是在服务的根目录下,使用的是相对目录

当前版本说明

  • Hadoop 版本2.8.2
  • 操作系统版本 centos 7.2

安装 jdk 环境,再此不做详细叙述了,需要注意的是 jdk 的环境变量的配置

yum install openjdk1.8xxxxx 这个安装的是 jre环境,并不是 jdk,安装 jdk

    sudo yum install...
查看全文

大数据篇 十一月 17, 2017

大数据之路 Hadoop 的学习流程

文章字数 753 阅读约需 1 mins.

首先记录,在这篇文章书写前,自己并不是刚刚上手 Hadoop, 其实学了有一段时间了
在这段时间内,由最开始的对 Hadoop 的懵懂无知到渐渐的熟悉 Hadoop 大致的开发流程
整个过程越来越清晰
于是就想着,把自己接下来在 Hadoop 上的学习计划记录下来

  1. 了解 Hadoop 背景,开发作用
  2. 然后搭建Hadoop集群,先让它在自己电脑上运行。
  3. 学习分布式文件系统HDFS。
  4. 学习分布式计算框架MapReduce
  5. 学习流式计算Storm
  6. 学习分布式协作服务Zookeeper
  7. 学习Hive—数据...
查看全文

SPRINGBOOT篇 十一月 16, 2017

重剑无锋,大巧不工 SpringBoot --- 使用 Elasticsearch 进行更复杂的查询

文章字数 31k 阅读约需 28 mins.

java 操作 elasticsearch 有四种方式

  1. 调用 elasticsearch 的 restapis 接口
  2. 调用 java elasticsearch client 的接口
  3. 整合 spring data 使用 ElasticsearchTemplate 封装的方法
  4. 继承 ElasticsearchRepository 接口调用方法

我们先来准备一些数据,写了一个之前的获取JoyMusic 的音乐数据的项目来说,项目的结构是这样的:

获取数据的主要代码如下,只是为了增加数据

    @RunWith...
查看全文

工具类篇 十一月 15, 2017

FastJSON 还有这样的用法 涨姿势了

文章字数 4.9k 阅读约需 4 mins.

介绍

JSONPath。这是一个很强大的功能,可以在java框架中当作对象查询语言(OQL)来使用

语法说明

JSONPATH 描述
$ 根对象,例如$.name
[num] 数组访问,其中num是数字,可以是负数。例如$[0].leader.departments[-1].name
[num0,num1,num2…] 数组多个元素访问,其中num是数字,可以是负数,返回数组中的多个元素。例如$[0,3,-2,5]
[start:end] 数组范围访问,其中start和end...
查看全文

NODE篇 十一月 07, 2017

npm install 居然出错了

文章字数 713 阅读约需 1 mins.

今天在安装完nodejs后执行 npm install 居然出错了

npm: relocation error: npm: symbol SSL_set_cert_cb, version libssl.so.10 not defined in file libssl.

npm: relocation error: npm: symbol SSL_set_cert_cb, version libssl.so.10 not defined in file libssl.so.10 with link...

查看全文
加载更多
0%