每年归档: 2025年

Kerberos认证 Kerberos是一种计算机网络认证协议，它允许客户端和服务器以一种安全的方式交换信息，而无需共享密钥。Kerberos协议基于对称密钥加密技术，它使用密钥分发中心（KDC）来分发密钥，并使用票 […]

Zookeeper # 部署zookeeper集群 # 下载并解压： wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.9. […]

小案例 需求： 聊天平台每天都会有大量的用户在线，会出现大量的聊天数据，通过对聊天数据的统计分析，可以更好的对用户构建精准的用户画像，为用户提供更好的服务以及实现高ROI的平台运营推广，给公司的发展决策提供精确的数据 […]

常用 SQL # 启动Beeline客户端： /usr/local/hive/bin/beeline # 连接HiveServer2服务： !connect jdbc:hive2://kube-40:10000 /u […]

Apache Hive Apache Hive是一款分布式SQL计算的工具，其主要功能是： 将SQL语句翻译成MapReduce程序运行 映射关系型数据库中的表和列到HDFS中的文件和字段 提供了一种类SQL的查询语 […]

Hadoop HA高可用集群搭建 1. 环境准备 操作系统：CentOS 7.9 Hadoop版本：Hadoop 3.3.6 JDK版本：JDK 1.8 Hadoop HA集群角色分配： NameNode：kube- […]

YARN与MapReduce部署与管理 计算、分布式计算： 计算：对数据进行处理，使用统计分析等手段得到结果 分布式计算：将计算任务分发到多台机器上并行处理，共同完成一个任务，提高计算效率 分布式计算常见的两种工作模 […]

HDFS集群部署 Helm 部署hadoop集群 参考： https://gitee.com/hadoop-bigdata/hadoop-on-kubernetes https://artifacthub.io/pa […]

大数据 狭义上：使用分布式技术完成海量数据的存储、处理、计算、分析、挖掘、可视化等任务，得到数据背后蕴含的价值。 广义上：大数据也是数字化时代、信息化时代的的基础(技术)支撑，以数据为生活赋能。 大数据5V特征： V […]