Spark_思索IT

轻松入门大数据：玩转Flink，打造湖仓一体架构完结

轻松入门大数据：玩转Flink，打造湖仓一体架构十二年技术老兵，带你操盘企业级项目，打造数据思维随着数据规模持续的高速增长，大数据基础设施技术从数据库、数据仓库演化到如今的湖仓一体架构，更成为未来新的架构标准。而Flink因为其优良的性能与广泛的适用性，也成为大数据核心技术之一。本课程将从Flink零基础讲起，涵盖Kafka、ClickHouse、Hudi等热门技术栈，结合多种实时处理场景，构建当下最热门的数据湖、湖仓一体架构，助你轻松进阶大数据工程师！适合人群想转型大数据开发的同学想提升自己技能、项目经验、薪资的大数据开发同学技术储备熟悉Linux基本命令了解Java SE的基础知识了解MySQL的基本使用环境参数 Hadoop 3.3.2 Flume 1.9.0 Hive 3.1.2 Scala 2.12 ZooKeeper 3.8.0 CentOS 7.x JDK 1.8+ 试看链接：章节目录：第1章大厂技术首选高薪必备：揭开Flink的神秘面纱试看11 节 | 53分钟要论当前业界最火的大数据实时处理引擎，Flink要说第二，无人敢称第一。本章节为大家揭开Flink的神秘面纱：Flink是什么、它的发展史、特性；对比Spark它的优势；以及Flink在大厂中是如何被广泛实践的。收起列表视频： 1-1 高薪大数据工程师必备技能，你掌握了么？ (08:16) 试看视频： 1-2 本章概览 (02:01) 视频： 1-3...

1 year前 815 85

IT课程资源 Python

Python3实战Spark大数据分析及调度|完结无密

Python3实战Spark大数据分析及调度 Python3玩转Spark开发，Azkana让作业井然有序本课程运用python3实战讲解了Spark中心功用组件，并结合调度爆款框架Azkaban，来对作业进行调度，最后以天气数据剖析做为实战项目，让你学会对大数据进行处理与剖析，让Python开发人员也能对Spark应用程序进行开发及调优。适合人群了解Python言语的想运用Spark进行数据处理剖析的人员了解Hadoop，想快速提高Spark技能的小伙伴想转行投身大数据职业的小伙伴技术储备要求熟悉常用Linux命令的运用把握Python同时有数据库SQL根底 [wm_notice]链接：https://pan.baidu.com/s/12nVrxA0PJj9innSMwiykHQ 提取码：7zb8 –来自百度网盘超级会员V1的分享[/wm_notice] 章节目录：第1章课程介绍试看2 节 | 19分钟课程介绍收起列表视频：1-1 PySpark导学 (12:51)试看视频：1-2 OOTB环境演示 (05:29) 第2章实战环境建立7 节 | 32分钟工欲善其事必先利其器，本章叙述JDK、Scala、Hadoop、Maven、Python3以及Spark源码编译及布置收起列表视频：2-1 -课程目录 (00:54) 视频：2-2 -Java环境建立 (02:14) 视频：2-3 -Scala环境建立 (01:50) 视频：2-4...

3 years前 1.3K 25

IT课程资源 Python

Spark+ES+ClickHouse 构建DMP用户画像|完结无密

Spark+ES+ClickHouse 构建DMP用户画像大数据主流技术，数据挖掘核心算法，用户画像完整知识一课轻松掌握行业竞争越来越激烈，精细化经营成为各企业取胜的秘籍。用户画像系统作为提供精准用户数据的重要来源，已经成为企业必备的核心平台，人才缺口大，薪资高。本课程将基于大数据主流技术，数据挖掘核心算法，带你打造企业实用的用户画像平台，提升你的个人竞争力。适合人群工作1-2年的大数据开发工程师对用户画像，DMP平台感兴趣的小伙伴技术储备熟悉 Springboot 基础操作了解 Spark/Scala 基本语法对常见算法有基本了解环境参数 spark 2.3.0 – 2.4.x clickhouse 21.3.4 hive 2.3.2 — 3.1.x hadoop 2.7.4 — 3.2.x hbase 1.2.6 — 2.3.x es 5.6.7 – 7.x zookeeper 3.5.8 phoenix 4.13.1 –...

2 years前 1.5K 40

IT课程资源大数据&机器学习

尚硅谷大数据项目实战提升大神班

尚硅谷大数据项目实战提升大神班尚硅谷大数据项目实战提升大神班本课程带你系统讲解了JavaSE、Hadoop、Spark、Flink等核心技术体系，基于众多的实战开发项目，深入剖析了数据采集、离线数仓、实时分析、实时数仓、推荐和用户画像、在线教育、电商、机器学习等解决方案，让你快速提升实战经验，轻松应对工作中的难题。项目简介本项目参考美团、OPPO、知乎等大数据实时数仓项目架构，采用当前主流的实时数据处理框架Flink进行搭建，对接多种数据源，并实现了对结果数据的实时展示，与离线数仓可以无缝对接，真正实现了流批一体，可以无缝满足企业实时数据处理需求。项目架构 Nginx + SpringBoot + Flume1.9 + Kafka2.4.1 + Flink1.2 + Canal HA + Redis + ElasticSearch + HBase2.0.5 + Phoenix + ECharts + MySQL5.7 + Maxwell + Kibana + ClickHouse + DataV 项目场景可满足各种行业、不同规模的企业的实时数据处理场景，例如实时分析新用户注册人群、实时显示交易额、实时对账、实时预警等。技术点通过分层处理，让实时计算复用性更好，结构更清晰；通过结合MySQL动态配置表实现数据的动态分流；使用HBase + Redis 实现维度数据的管理与关联查询；提供针对不同情境的双流Join解决方案，优化双流Join解决方案；结合keyed state实现数据的去重、计算等功能；实现对于所有需求提供Flink代码和Flink...

1 year前 409 73

IT课程资源 Java

Hadoop 系统入门+核心精讲|完结无密

Hadoop 系统入门+核心精讲新手入门大数据要学的第一门课本课程带领你从Hadoop入门开始，逐步掌握大数据核心技术（HDFS、YARN、MapReduce、Hive开发与调优），并将这些技术应用到实战中，最终完成电商行为日志分析项目，助力探索高薪职业赛道。技术要求熟悉Linux基本命令了解Java SE的基础知识 / 了解MySQL的基本使用环境参数 Linux版本： CentOS（7） / Hadoop版本： CDH（5.15.1）开发工具： IDEA / 编程语言：JAVA [wm_tips]试看链接：https://pan.baidu.com/s/1wcUhvc8Ihdztbq5ECjKAxQ 提取码：zwq6 [/wm_tips] 章节目录：第1章大数据概述试看12 节 | 58分钟本章将从故事说起，让大家明白大数据是与我们的生活息息相关的，并不是遥不可及的，还会介绍大数据的特性，以及大数据对我们带来的技术变革，大数据处理过程中涉及到的技术以及大数据典型应用。收起列表视频： 1-1 课程导学 (14:27) 试看图文： 1-2 ***学前必读***（助你平稳踩坑，畅学无忧，课程学习与解决问题指南）视频： 1-3 课程目录 (01:52) 视频： 1-4...

2 years前 1.1K 38

IT课程资源 Python

全局视角系统学习《推荐系统》，实战中提升竞争力

全局视角系统学习《推荐系统》，实战中提升竞争力模块化拆解底层架构，带你掌控全局，掌握核心技术和关键模型推荐系统已经成为各大产品提升用户留存和业绩增长的利器，相关技术人才更是被各个公司竞相抢夺。课程基于项目实战，带你全面掌握推荐系统的架构、模型和技术，让你不仅可以胜任业务需求，更能拓展职业发展的空间，在白热化的竞争中脱颖而出！适合人群想要提升自身实力、完善知识体系，对推荐系统开发感兴趣的开发者和在校生技术储备熟悉python编程对机器学习和数据挖掘有基本了解了解基本统计学和数学概念环境参数 python 3.8 Spark 3.1.2 tensorflow 2.7 Redis 6 章节目录：第1章【前言】初探推荐系统试看3 节 | 37分钟本章中，将对课程内容安排和知识脉络进行介绍，帮助大家对推荐系统及应用价值有一个系统的认知。收起列表视频： 1-1 前言–关于这门课 (11:34) 试看视频： 1-2 推荐系统是什么 (17:01) 视频： 1-3 课程章节导览 (08:02) 第2章【基础架构】推荐系统架构&项目搭建10...

2 years前 1.9K 42

IT课程资源大数据&机器学习

某易微专业-大数据开发工程师|完结无密

大数据开发工程师[原价14500]完结无密,课件官方同步实战网易大数据项目，掌握大数据核心技能 – 企业级数据仓库建设，PB级历史数据离线计算，毫秒级低延迟实时计算 – Q: 可以通过培训成为一个大数据开发工程师吗？ A: 我们课程设计来自于实际就业需求，老师以就业为导向设置课程大纲，基本涵盖了目前市场上大数据开发工程师所需要的所有技术，是大数据开发工作中实际会用到的知识点，我们课程中设计项目案例，都是网易等一线互联网公司的实际在用的方法，由网易技术大牛亲自讲授；此微专业是一个完整的大数据知识体系的课程，只要依照老师们的安排，用心认真地学习，成为高级工程师或者入职一线互联网公司，是完全没有问题的。目录大纲：大数据开发工程师/ -大数据开发工程师/ ├──{10}–某易严选项目实战 | ├──{1}–电商严选数据仓库实战 | | ├──{10}–案例实战3——订单及履约管理 | | ├──{4}–电商发展概况&维度建模简介 | | ├──{5}–维度建模基础技术 | | ├──{6}–维度建模进阶及高级技术 | | ├──{7}–数仓架构及规范 | | ├──{8}–案例实战1——订单及库存管理 | | ├──{9}–案例实战2——订单及库存管理（主题域设计进阶） | | ├──#1.2#–【下载】代码下载.pdf 83.60kb | | └──#1.3#–【下载资料】电商严选数据仓库实战-数据.pdf 83.60kb |...

1 year前 338 98

IT课程资源 Java

Spark进阶大数据离线与实时项目实战|完结无密

Spark进阶大数据离线与实时项目实战整合大数据生态圈多个框架(Spark/Hbase/Redis/Hadoop) ，Spark大技术栈的企业级应用本课程整合Redis和HBase打造以Spark技术栈为核心的离线处理项目以及实时处理项目，以功能实现为基础，通过调优及重构功能实现，达到企业级生产水平。课程最后讲解Alluxio整合Hadoop和Spark的使用，拓展同学们的视野。适合人群想转型或者从事大数据行业的小伙伴技术储备要求 Spark进阶课程，不是从零基础开始讲解，需要有一定基础熟悉Scala、Java SE基本语法熟悉Hadoop基本使用、Linux基本命令了解Spark SQL和Streaming的基本使用 [wm_tips]试看链接：https://pan.baidu.com/s/10Hn4ALGdd7aYJL40gZLi6A 提取码：q5q1 [/wm_tips] 章节目录：第1章课程介绍&学习指南试看2 节 | 12分钟本章会对这门课程进行说明并进行学习方法介绍。收起列表视频： 1-1 课程介绍 (11:26) 试看图文： 1-2 ***学前必读***（助你平稳踩坑，畅学无忧，课程学习与解决问题指南）第2章 Redis入门试看12 节 | 126分钟 Redis是目前最火爆的内存数据库之一，通过在内存中读写数据，大大提高了读写速度。本章将从Redis特性、应用场景出发，到Redis的基础命令，再到Redis的常用数据类型实操，最后通过Java API来操作Redis，为后续实时处理项目打下坚实的基础…...

2 years前 853 38

IT课程资源架构师

2021全新升级版-若泽数据Spark+Flink全栈训练营(高级班)

[wm_blue]网盘截图[/wm_blue] 课程目标本套课程是以企业大数据&人工智能&容器技术为蓝本进行讲解，所有的知识都是经过多年一线企业实际运用提取总结而成，轻松掌握Hadoop、Hive、Spark、Flink、AI、容器、大数据平台等技术的开发及使用，并结合多个项目实战贯穿大数据的技能点，让你真正具备企业开发所需要的动手能力和知识适合人群 1：打算毕业后从事找大数据工作的零基础的高校学生（可以参照若泽数据的零基础入门大数据课程） 2：欲转换从事大数据工作的在职人员； 3：旨在通过真实项目实战快速提升自身能力（实用、提升、加薪、升职）的同学若泽数据课程内容全新升级 1：新增基于Spark的离线动态标签项目 2：新增基于Flink的实时项目实战 3：新增ClickHouse及整合Spark&Flink的使用 4：新增银行、消费金融公司生产案例试看链接：https://pan.baidu.com/s/1zDCZUgHG0s89TbcJVXZYDQ?pwd=8962 课程大纲：点击查看课程大纲

2 years前 759 98

IT课程资源大数据&机器学习

博学谷-狂野大数据（四期）完结无密

狂野大数据（四期）完结无密课件同步官方原价17980 课程内容精准聚焦大数据开发过程中常用的离线数据分析、实时数据分析和内存数据计算等重要内容；涵盖了大数据体系中的核心技术，包含Linux、Zookeeper、Hadoop、Redis、HDFS、MapReduce、Hive、Impala、Hue、Oozie、Storm、kafka、Spark、Scala、SparkSQL、Hbase 目录大纲：狂野大数据（四期）/ ├──1.1 大数据技术转型必备知识与学习计划1.mp4 151.80M ├──1.1 大数据技术转型必备知识与学习计划2.mp4 86.82M ├──1.10 前置课程知识串讲41.mp4 295.09M ├──1.11 前置课程知识串讲51.mp4 155.43M ├──1.11 前置课程知识串讲52.mp4 73.42M ├──1.12 前置课程知识串讲61.mp4 232.97M ├──1.13 前置课程知识串讲81.mp4 282.05M ├──1.2 不可不谈：大数据与Java云计算AI的关系1.mp4 265.64M ├──1.3 海量数据：传统IT开发无法解决的瓶颈1.mp4 236.79M ├──1.4 分布式：大数据的私人订制1.mp4 225.96M ├──1.5 互联网大厂大数据开发的标配：实时计算1.mp4 166.05M ├──1.6 BI技术：大数据开发最后一公里1.mp4 207.63M ├──1.7 前置课程知识串讲11.mp4 294.11M ├──1.8 前置课程知识串讲21.mp4...

1 year前 379 98

IT课程资源大数据&机器学习

SparkSQL极速入门整合Kudu实现广告业务数据分析|完结无密

SparkSQL极速入门整合Kudu实现广告业务数据分析大数据离线处理核心技术初中级大数据工程师工作提升利器以案例驱动，全面讲解Spark SQL大数据离线处理必备的知识点。使用Kudu整合Spark进行广告业务功能的实现，并针对已实现的需求代码进行调优；通过扩展Presto和大数据平台建设方面的相关内容，进一步提升技能。适合人群具备相关技术储备，想快速提升Spark技能以及想转行投身大数据行业的小伙伴技术储备要求熟悉Linux常用操作 / 熟悉SQL基本使用了解Hadoop基础知识 / 了解Scala基本语法 [wm_tips]试看链接：https://pan.baidu.com/s/1xVncjOXoW2YnaT2Z7xF8Qg 提取码：7m33 [/wm_tips] 章节目录：第1章课程介绍&学习指南试看2 节 | 13分钟本章会对这门课程进行说明并进行学习方法介绍。收起列表视频：1-1 课程导学 (12:07)试看图文：1-2 ***学前必读***（助你平稳踩坑，畅学无忧，课程学习与解决问题指南）第2章为什么要学Spark21 节 | 149分钟 Spark作为近几年最火爆的大数据处理技术，是成为大数据工程师必备的技能之一。本章节将从如下几个方面对Spark进行一个宏观上的介绍：Spark产生背景、特性、环境部署、Spark与Hadoop的对比、Spark开发语言及运行模式等。收起列表视频：2-1 课程目录...

2 years前 939 43

IT课程资源架构师

拉钩教育-大数据高薪训练营2022最新版

2 years前 1.1K 98

IT课程资源大数据&机器学习

慕课大数据工程师2023版完结[电子书+源码+视频]

大数据工程师2023版紧跟技术发展，对标高薪岗位技能模型，带你更快进阶合格的大数据工程师 Java/Scala双语言教学，系统构建大数据技能体系企业级案例驱动学习，还原真实业务场景试看链接：https://pan.baidu.com/s/1-PUv8IJocfV6PC1XfI4u-Q?pwd=bfzn 章节目录：阶段一：走进大数据第1周学好大数据先攻克Linux 在步入大数据殿堂之前，先带领大家快速掌握大数据的必备技能：Linux的操作使用，为后面学习大数据技术打下坚实基础。预习资料传送门：http://suo.im/613aVS 提取码：bbbb 课程安排： 1、掌握Linux虚拟机的安装和配置 2、使用ScecureCRT连接Linux虚拟机 3、掌握Linux中常见高级命令(vi、wc、sort、date、jps、kill等命令)的使用 4、掌握Linux中三剑客(grep、sed、awk)的常见用法 5、掌握Linux的高级配置(ip、hostname、防火墙) 6、掌握Shell脚本的开发 7、掌握Shell中变量、循环和判断的使用 8、掌握Shell中的扩展内容 9、掌握Linux中crontab定时器的使用 10、了解认识什么是大数据 11、大数据产生的背景 12、大数据的4V特征 13、大数据的行业应用【本周思考与讨论】 1、结合自己的实际情况，明确学习目标、制定学习计划。有计划、有执行、有落实，必有收获！ 2、利用学习的Linux高级技能实现论坛访问日志数据分析，看一下到底是谁在暴力攻击你的网站？ 3、某云服务器被挖矿病毒程序侵入，病毒程序很顽强，如何开发一个脚本监控并杀掉此病毒程序？ 4、手动安装JDK配置环境变量太繁琐了，如何开发一个一键安装配置JDK的程序？ 5、为什么使用jps命令查看不到正在运行的Java进程？ 6、在SecureCRT中按Ctrl+s会发生什么现象，尝试一下？ 7、如何确认Crontab中的定时任务是否正常执行？ 8、使用crontab -e 和 vi /etc/crontab配置的定时任务有什么区别？ 9、谈一谈你眼中的大数据是什么样的？学习贵在坚持，每天进步一点点！第2周大数据起源之初识Hadoop Hadoop是大数据开创者，引领者，学习大数据必经之路，本周带领大家了解Hadoop，以及Hadoop集群的安装部署。预习资料：http://suo.im/5SMmAO 提取码：bbbb 课程安排： 1、什么是Hadoop 2、Hadoop发行版介绍...

9 months前 2.1K 158

Android IT课程资源

ES7+Spark 构建高相关性搜索服务&千人千面推荐系统|完结无密

ES7+Spark 构建高相关性搜索服务&千人千面推荐系统搜索、推荐服务是很多企业的刚需，能开发搜索、推荐服务的人才更是企业的“刚需” 基于大众点评搜索以及推荐业务，使用SpringBoot加mybatis结合前端模板搭建运营后台门店管理功能，借助ElasticSearch的最新版本ES7，完成高相关性进阶搜索服务，并基于spark mllib2.4.4构建个性化千人千面推荐系统。适合人群想了解EasticSearch，对搜索推荐系统感兴趣，符合技术储备的同学技术储备要求熟悉JavaWeb基本应用了解MySQL常用命令 [wm_tips]试看链接：https://pan.baidu.com/s/1YZh1WuNjAC4BBVGwDZ2ADg 提取码：65i2 [/wm_tips] 章节目录：第1章课程导学【终于遇到你】试看3 节 | 12分钟本章综合讲述了点评搜索推荐课程的项目业务背景，架构设计理念以及所需要用到的核心技术能力。收起列表视频： 1-1 课程导学 (11:20) 试看图文： 1-2 ***学前必读***（助你平稳踩坑，畅学无忧，课程学习与解决问题指南）图文： 1-3 你真的会问问题吗？第2章项目设计【项目需求到技术方案的完美执行过程】试看5 节 | 27分钟本章中讲述了如何模拟现实情况中，点评搜索推荐项目从业务需求BRD到产品需求PRD，最终到技术方案选型，架构设计及技术落地的整个过程。...

2 years前 839 43

IT课程资源架构师

极课时间-大数据训练营2021|完结无密

极课时间-大数据训练营2021最新完结课程设计对标阿里 P7，三个维度全面覆盖大数据工程师能力要求 1：掌握以 Spark SQL 为核心的泛 SQL 体系，囊括 Hive、Spark SQL、Flink SQL、Kafka SQL 等知识点，进一步掌握 SQL 应用及性能调优，深入了解 SQL 底层逻辑与原理，摆脱 SQL Boy/Girl 的困境，掌握大数据分析和大数据开发能力，以 Hadoop、Spark、Kafka、Flink 等框架为脉络 2：了解分布式计算体系的来龙去脉，掌握大规模存储、计算、性能调优的能力，掌握构建大数据平台工程的能力，了解如何设计和实现一个分布式系统，胜任数据开发任务和数据平台的搭建任务 3：详解 Hadoop、Spark 核心源码，学会在源码层面分析和解决问题，实现开发能力的再进阶与突破，跳出复杂的技术栈，领会底层核心原理，掌握 trouble-shooting 的思路与能力，培养真正的大数据开发思维学习人群有 2 年以上开发经验，熟练掌握 Java/Python 等语言，想转型大数据的程序员。有大数据基础，希望提升自己能力水平的大数据开发工程师。对现状迷茫，希望打破瓶颈，构建自己技术壁垒的大数据开发工程师。对大数据感兴趣，希望进入大数据行业的计算机相关专业大学生。 Q：是否有基础要求？需要你拥有 2 年以上的开发经验，熟悉 Java 和 SQL...

2 years前 1.2K 98

IT课程资源 Java

Spark + ElasticSearch 构建电商用户标签系统|完结无密

Spark + ElasticSearch 构建电商用户标签系统从Java开发过渡到大数据开发的转型课程核心技术+业务思路实现精准营销课程利用 Spark + ElasticSearch 构建用户标签系统，利用 Docker+Docker Compose 实现项目的一键启停。涵盖数据同步、数据清洗、用户标签化等步骤，带你领略企业级数据平台的开发流程。适合人群对 Spark, ElasticSearch等大数据技术有强烈兴趣想转行做大数据的同学对企业级数据平台开发流程没有概念，但有一定的自学能力，并且愿意接受挑战的同学技术储备要求 Java Web 基础 Linux 基础了解SQL 语法熟悉数据库操作 [wm_notice]试看链接：https://pan.baidu.com/s/18rAqn3yM2S1xvE4jBTdTZg 提取码：fxh1 [/wm_notice] 章节目录：第1章课程介绍与学习指南试看2 节 | 12分钟...

2 years前 475 38

1/21 2 下一页