Kerberos认证 Kerberos是一种计算机网络认证协议,它允许客户端和服务器以一种安全的方式交换信息,而无需共享密钥。Kerberos协议基于对称密钥加密技术,它使用密钥分发中心(KDC)来分发密钥,并使用票 […]
每年归档: 2025年
Zookeeper # 部署zookeeper集群 # 下载并解压: wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.9. […]
小案例 需求: 聊天平台每天都会有大量的用户在线,会出现大量的聊天数据,通过对聊天数据的统计分析,可以更好的对用户构建精准的用户画像,为用户提供更好的服务以及实现高ROI的平台运营推广,给公司的发展决策提供精确的数据 […]
常用 SQL # 启动Beeline客户端: /usr/local/hive/bin/beeline # 连接HiveServer2服务: !connect jdbc:hive2://kube-40:10000 /u […]
Apache Hive Apache Hive是一款分布式SQL计算的工具,其主要功能是: 将SQL语句翻译成MapReduce程序运行 映射关系型数据库中的表和列到HDFS中的文件和字段 提供了一种类SQL的查询语 […]
Hadoop HA高可用集群搭建 1. 环境准备 操作系统:CentOS 7.9 Hadoop版本:Hadoop 3.3.6 JDK版本:JDK 1.8 Hadoop HA集群角色分配: NameNode:kube- […]
YARN与MapReduce部署与管理 计算、分布式计算: 计算:对数据进行处理,使用统计分析等手段得到结果 分布式计算:将计算任务分发到多台机器上并行处理,共同完成一个任务,提高计算效率 分布式计算常见的两种工作模 […]
HDFS集群部署 Helm 部署hadoop集群 参考: https://gitee.com/hadoop-bigdata/hadoop-on-kubernetes https://artifacthub.io/pa […]
大数据 狭义上:使用分布式技术完成海量数据的存储、处理、计算、分析、挖掘、可视化等任务,得到数据背后蕴含的价值。 广义上:大数据也是数字化时代、信息化时代的的基础(技术)支撑,以数据为生活赋能。 大数据5V特征: V […]