CDH平台部署 大数据发行版本主要有Apache官方社区版本，cloudera推出的CDH商业版本，还有Hortonworks推出的HDP商业免费版本，HDP版本已被cloudera收购。 Apache官方社区版本： […]
每日归档: 2025年2月6日
8 篇
数据仓库基本概念 数据仓库与数据集市 一、数据仓库的定义和特点 数据仓库（Data Warehouse, DWH）是一种面向主题的、集成的、不可变的数据集合，用于支持管理决策。数据仓库的核心特征包括： 面向主题：数据 […]
DeepSeek-R1 本地部署 Nvidia显卡管理 nvidia-smi ## 1.查看显卡信息 # 由于测试环境使用的是NVIDIA的显卡，这里直接通过lspci命令即可查询具体显卡信息 lspci | gre […]
数据仓库项目架构 数据仓库 数据仓库是一个用于存储和管理大量数据的系统，它可以帮助企业更好地理解其业务数据，从而做出更好的决策。数据仓库项目架构通常包括以下几个部分： 1. 数据源：数据仓库的数据来源，可以是各种业务 […]
shell 处理sql脚本常用 # 获取今天的日期 date date +%Y%m%d # 指定日期获取内容 -d或--date= # 获取指定日期的年月日格式输出 date -d "2024-10-29& […]
rclone 对象存储同步工具 # 安装 curl -O https://downloads.rclone.org/rclone-current-linux-amd64.zip unzip rclone-curren […]
Hive的索引与优化 Hive的索引 索引的作用: 加快查询的效率 为什么索引可以提升查询效率呢? hive索引是在 分区 分桶优化基础上, 又提供一种新的优化手段, 如果分区 和分桶受限, 可以尝试使用索引的方式来 […]
DataX 同步工具 https://github.com/alibaba/DataX/tree/master https://datax-opensource.oss-cn-hangzhou.aliyuncs.co […]