**知识源于积累,登峰造极源于自律. **

整理自己发在博客上的大数据笔记，方便查找。索引持续更新中…

注意: 黑猫的旁边是文章的目录哦~~

大数据开发(基础笔记)

Linux

Linux命令收集

shell

常用的shell脚本

Hadoop

什么是大数据
从Hadoop框架讨论大数据生态
hadoop组成模块及各模块的简介
hadoop组成模块之HDFS分布式存储详解
hadoop组成模块之HDFS-HA高可用
hadoop组成模块之MapReduce概述
MapReduce框架原理之InputFormat数据输入
hadoop组成模块之mapreduce的MapTask机制和reduceTask机制
mapreduce过程中的shuffle机制原理
hadoop组成模块之Yarn资源调度器
hadoop组成模块之Yarn-HA高可用
hadoop模块组成之Join多种应用
hadoop的计数器应用和数据清洗
Hadoop数据压缩
Hadoop企业优化
Hadoop生产调优手册
为什么要知道Hadoop机架感知？
YARN调度器【capacity-scheduler.xml】默认配置

kafka2.1

kafka概述
Kafka架构深入
Kafka API
kafka面试常遇问题

Kafka3.0.0

kafka3.0.0之kafka概述

Zookeeper

Zookeeper简介

Hive

hive简介(一)
hive简介(二)
hive常用函数收录
hive常用函数之排序
hive常用函数之分区表和分桶表

Spark

spark基础解析
SparkCore之RDD概述
SparkCore之RDD编程的编程模型
Spark案例代码汇总
Spark原理与实现: SparkSQL的概述
Spark原理与实现: Spark SQL编程
Spark原理与实现: Spark SQL编程之Spark SQL数据的加载与保存

Streamx

streamx源码编译及安装部署-服务器端编译
streamx源码编译及安装部署-本地编译(推荐)

Flink

Flink简介
Flink部署
Flink流处理案例
Flink案例代码汇总
Flink使用idea将匿名内部类替换为lambda表达会擦除泛型
Flink流式读取文本数据计算过程演示
Flink读取无界流数据计算过程演示
Flink总结速览
Flink 原理与实现: Flink模式
Flink 原理与实现: Flink核心概念之任务链
Flink 原理与实现: Flink运行时的组件
Flink 原理与实现: Flink任务提交流程
Flink 原理与实现: Flink任务调度原理概念
Flink 原理与实现: Flink核心概念之TaskManger与Slots
Flink 原理与实现: Flink核心概念之执行图（ExecutionGraph）
Flink 原理与实现: Flink核心概念之并行度（Parallelism）
Flink 原理与实现: Flink中的Window
Flink 原理与实现: Flink中的Window API
Flink 原理与实现: Flink 的时间语义与Wartermark(水位线)机制
Flink 原理与实现: Flink的ProcessFunction API（底层API）
Flink 原理与实现: Flink的状态编程和容错机制之算子状态和键控状态
Flink 原理与实现: Flink的状态编程和容错机制之状态一致性
Flink 原理与实现: Flink的状态编程和容错机制之检查点（checkpoint）
Flink 原理与实现: Flink+Kafka如何实现端到端的exactly-once语义
Flink 原理与实现: Flink CEP复杂事件处理
Flink 原理与实现: Flink实现UDF函数——更细粒度的控制流
Flink 原理与实现: Flink流计算常用算子（Flink算子大全）
Flink源码分析: Flink on yarn 的 per-job-cluster模式及提交流程
Flink内存管理: 内存模型
Flink内存管理: 内存数据结构
Flink内存管理: 内存管理器
Flink内存管理: 网络传输中的内存管理
Flink 原理与实现: Flink流程小总结

Flink SQL

Flink 原理与实现: FlinkSQL的Table API 与SQL概念
Flink 原理与实现: FlinkSQL的Table API 与SQL之流处理中的特殊概念
Flink 原理与实现: FlinkSQL的Table API 与SQL之窗口（Windows）
Flink 原理与实现: FlinkSQL的Table API 与SQL之函数（Functions）
Flink SQL成神之路(全)

Flink SQL 代码案例

Flink案例代码汇总
Flink SQL 案例代码: 将Stream流转化成Table
Flink SQL 案例代码: 将Stream流转化成Table聚合操作, 求总和,某个count或者sum将转为Stream打印
Flink SQL 案例代码: 使用Connect方式读取文本数据
Flink SQL 案例代码: 使用连接器的方式读取Kafka的数据

Flink CDC

Flink 原理与实现: Flink-CDC
Flink-CDC案例代码

Clickhouse

ClickHouse入门
ClickHouse数据类型
ClickHouse表引擎
ClickHouse的副本和分片集群
Flink写入clickhouse案例

数仓建模

数仓建模设计理论及概念

大数据面试题

大数据公羊说之Flink每日一题收录

Java开发(基础笔记)

Mybatis

mybatis简介
推荐一款Mybatis分页插件
Mybatis介绍之缓存

赏

谢谢你请我吃糖果

支付宝

微信