内容较全,技术深,涉及JavaEE架构级技术,分布式高并发技术,云计算架构技术,云计算技术,云计算架构技术等。
发布时间:2023-10-09 11:45:49来源:尚训网综合
目前在读或应往届大学生,想要提升自己的能力。
对python知识操作感兴趣,想投身学习的人。
打算转行或者待业人员,渴望得到高薪的工作
内容较全,技术深,涉及JavaEE架构级技术,分布式高并发技术,云计算架构技术,云计算技术,云计算架构技术等。
提供真实的大数据云计算开发部署环境,学员可以拥有几十台主机节点以完成开发部署试验。
达内强大的TMOOC + TTS8.0在线教学平台,为学员提供线下学习,线上辅助的双模式教学体验。
达内教师
达内教师
大数据是海量数据存储和处理的技术,近几年随着互联网、移动互联网的发展,产生了大量的数据,而传统的基于数据库、数据仓库的数据存储和处理技术已经很难在可接受的时间和空间下完成对这些数据的存储和处理,因此,大数据技术应运而生了,大数据技术基于分布式的架构,实现了近乎无限的存储和处理的能力,为海量数据的存储和处理提供了新的可能。而正是基于这样的能力,越来越多的基于大数据的个性化的服务也开始大量的出现。接下来我们看一看上海黄浦区达内大数据分析培训专业吗?
课程简介
达内教育开设的Java大数据培训班,课程内容覆盖Java语言基础、JavaEE深度开发、互联网架构开发、大数据开发、算法数据挖掘分析等Java大数据全栈技术内容,解决学员Java大数据的学习需求,满足学员高薪就业所需技术广度。
课程特色
1.全栈式技术覆盖
2.原理级深度讲解
3.企业级项目实战
4.真实云开发环境
教学优势
大数据云计算课程体系
内容较全,技术深,涉及JavaEE架构级技术,分布式高并发技术,云计算技术,云计算架构技术等。
“云计算云主机”试验环境
提供真实项目的大数据云计算开发部署环境,学员可以拥有几十台主机节点以完成开发部署试验。
O2O双模式教学体验
达内强大的TMOOC+TTS8.0在线教学平台,为学员提供线下学习,线上辅助的双模式教学体验。
授课内容
JavaSE阶段
课程模块 | 课程内容 | 学习内容 |
Java基础 | Java简介 | Java发展历程、Java的技术结构、JDK的下载及安装、HelloWorld入门案例 |
Java基本语法 | 关键字、标识符、注释、字面量、进制及其换算、变量、数据类型及其转换、运算符、流程控制、数组、二维数组、方法 | |
面向对象 | 面向对象与面向过程比较、类与对象的关系、成员变量与局部变量、构造方法、this关键字、代码块。面向对象的特征(封装、继承、多态)、super关键字、权限修饰符、方法的重写static、final、abstract、接口、内部类、包、垃圾分代回收机制 | |
API(一) | Object、String、Pattern、包装类、Math、BigDecimal、Date、Calendar | |
API(二) | 异常、集合、Map、泛型、迭代器、比较器 | |
Java增强 | API(三) | IO、线程、套接字 |
API(四) | 反射、注解、断言 | |
jvm参数 | jvm内存大小调节、常见回收机制 | |
JDK8的部分特性 | 接口中的默认方法、Lambda表达式、函数式接口、时间包 | |
Git版本控制 | 版本控制概念、Git发展历史、Git安装配置、Git版本库管理、Git版本控制、Git远程仓库、Git分支管理、Git标签管理、码云介绍 |
JavaWeb阶段
课程阶段 | 学习 |
XML | XML的概念与基本作用、XML语法、XML解析介绍、DOM4J解析XML |
HTML/CSS | HTML介绍、HTML文档结构、HTML语法、HTML标签技术(超链接、列表、表格、图像、表单等),CSS介绍、CSS导入方式、CSS选择器、CSS布局、CSS样式属性。完成EasyMall项目静态页面 |
JavaScript | JavaScript语法、数据类型、运算符、流程控制、数组、函数、JavaScript内部对象、自定义对象,DHTML编程、DOM介绍,DOM编程(使用DOM操作HTML文档)。完成EasyMall静态页面中的js脚本 |
Jquery | Jquery对象、Jquery选择器(ID、元素、class、层级等)的使用、Jquery案例(用户列表增、删、改、查)、Json的对象转换、Jquery AJAX的实现。完成EasyMall静态页面中的jquery脚本 |
MySql | 数据库介绍、MySQL安装与配置、数据库增删改操作DDL语句使用、表增删改操作DML语句使用、表查询操作DQL语句使用,数据备份及恢复、多表设计、多表查询。完成EasyMall中数据库的设计 |
JDBC | JDBC介绍、JDBC入门,JDBC核心API介绍,JDBC的CURD操作防止SQL注入及PrepareStatement使用,使用批处理。连接池的介绍、自定义连接池,常用的开源连接池C3P0的介绍及使用。 |
Tomcat/HTTP | WEB服务器介绍、Tomcat的安装与启动、Tomcat的体系结构、组织WEB应用目录与在Tomcat中发布WEB应用程序的方式、配置WEB的主页、使用Tomcat配置虚拟主机、HTTP协议详解 |
Servlet | Servlet介绍、开发Servlet程序、Servlet生命周期、Servlet调用分析、Request及Response的使用、ServletConfig使用,ServletContext使用(作为域对象使用、配置系统初始化参数、获取web资源)。AJAX介绍、XMLHttpRequest对象详解。完成EasyMall用户注册模块 |
Cookie/Session | 会话技术介绍、Cookie介绍及Cookie的使用、案例之Cookie实现记住用户名,Session的使用及Session的原理,案例之利用Session实现登陆功能及验证码校验。完成EasyMall用户登录模块 |
JSP/EL表达式/JSTL标签库 | JSP介绍、JSP表达式、JSP脚本片段、JSP声明、JSP注释、JSP中的9个内部对象和作用,EL表达式简介,EL获得数据、EL执行运算、EL内置对象,page指令及其重要的属性,JSP中的include指令、pageContext对象的详细讲解。JSP动作标签介绍。JSTL标准标签库的介绍及使用。完成EasyMall动态页面 |
MVC设计模式/三层架构 | JavaEE开发模式介绍、MVC软件设计模式介绍、JavaEE经典开发模式重构EasyMall项目、工厂设计模式介绍、工厂设计模式的应用。层与层之间的耦合与解耦。重构EasyMall为三层架构 |
过滤器/监听器 | Servlet Listenert监听器介绍及使用、Servlet Filter过滤器介绍、过滤器生命周期。30天内自动登录功能的实现,全站乱码处理功能实现。完成EasyMall全站过滤器、自动登录等功能 |
JavaWeb高级开发技术 | 泛型、注解、内省、动态代理、枚举、AOP原理及实现。完成EasyMall改造实现AOP |
数据库高级开发技术 | 事务概述、事务的隔离级别、事务控制、更新丢失。完成EasyMall中商品相关模块 |
EasyMall项目开发 | EasyMall是一个典型的互联网电子商务系统,在WEB学习阶段,通过所学习的WEB技术,实现EasyMall商城中包括用户注册、用户登录、用户注销、商品添加、商品删除、商品修改、商品列表、商品详情等功能。在实现商城相关功能的过程中,熟悉并掌握WEB开发相关技术、架构思想、项目开发流程、版本控制等内容。整个项目贯穿于整个WEB学习阶段,通过项目贯穿课程教学,通过应用引导学员学习 |
JavaEE框架阶段
课程阶段 | 课程内容 |
Spring | Spring IOC基础、Spring的工厂模式(静态工厂、实例工厂、Spring工厂)、Spring依赖注入(构造器注入,set注入)、Spring的注解形式、Spring AOP原理及实现、Spring 整合JDBC、JDBCTemplate、Spring声明式事务处理、事务的回滚策略等 |
SpringMVC | SpringMVC原理、SpringMVC简单参数封装、复杂参数封装、值传递的原理、SpringMVC的注解形式、日期格式类型转换、文件上传、页面访问控制( 转发和重定向 )、RESTFUL结构 |
MyBatis | MyBatis原理、DQL映射、DML映射、复杂结果集映射、参数传递(注解形式和MAP形式)、结果集封装原理、动态SQL的拼接、字符转义、MyBatis的接口实现、代码自动生成工具、关联关系的讲解、Spring+SpringMVC+MyBatis整合(SSM整合) |
EasyMall项目重构及开发 | 通过框架技术重构在JavaWeb阶段实现的EasyMall项目,通过对比使学员们理解使用框架的好处,熟悉框架的搭建和使用,理解框架整合方式、了解框架下业务开发流程。并进一步实现EasyMall中的购物车模块、订单模块、在线支付、销售统计等模块 |
Springboot | springboot基础,搭建,springboot组合注解运行原理,springboot的web开发,spring data JPA,声明式事务 |
SpringBoot重构EasyMall项目 | 通过SpringBoot重构EasyMall项目 , 加深对SpringBoot的理解,实现购物车、订单、在线支付等功能模块的实现 |
大数据互联网架构阶段
课程阶段 | 课程内容 |
Linux | 大数据生产环境需要在Linux下部署,大数据开发人员必须对Linux系统有相应的了解。学习内容包括Linux操作系统的安装配置、文件系统管理、用户及用户组管理、进程管理、资源管理、vim编辑器使用、Linux下软件安装、shell编程等内容 |
云平台使用 | 才高大数据课程采用全云化教学,讲师授课、学员学习、练习、项目运行部署、性能测试等都在真实云平台上进行,完全模拟企业真实环境。此处讲授云平台的使用 |
Redis、Redis与SpringBoot整合 | redis简介,雪崩/缓存击穿,hash、string、list、set、zset、jedis数据分片,jedis数据分片连接池,jedis的hash一致性,redis主从复制,哨兵集群,redis-cluster,redis集群的槽道 |
MycatMycat与SpringBoot整合 | mycat简介,mysql主从复制,mycat读写分离,mycat配置详解 |
Rabbitmq、Rabbitmq与SpringBoot整合 | rabbimq消息队列,connection,channle,exchange,消息生产者和消费者,消息传递simple模式,work模式,publish模式,routing模式,topic模式,秒杀案例 |
Lucene | lucene概述,分词系统,索引概念,倒排索引,索引创建,索引删除,索引更新,词项搜索,布尔搜索,范围搜索,前缀搜索,多关键字搜索,模糊搜索,通配符搜索 |
ElasticSearchES与SpringBoot整合 | 搜索系统概括,搜索引擎框架,solr安装与配置详解,elasticseacher安装与配置详解,集群搭建 |
爬虫 | jsoup爬虫,爬取网站,爬取页面,爬取二次提交数据,爬取定位信息,模拟浏览器头爬取网站,爬取京东数据落地数据库 |
Ngnix | http服务器,反向代理,入门配置,server配置,location匹配,负载均衡轮询、权重、session黏着,hash取余 |
Easymall项目整合 | 整合springboot开发系统,整合redis,mycat,Ngnix负载均衡,rabbitmq消息队列,lucene搜索技术;jsonp,httpclient跨域访问,调用服务使用互联网架构技术,将EasyMall项目重构为分布式技术架构的大型电商项目,可承受高并发,具有高可用的特点。后台商品管理:负责商品的增删改查,图片上传,商品分类树、前台系统:商品前台分类树,商品查看,登录,购物车,订单页面跳转、登录页面:负责用户登录,解决session集群共享、购物车:负责购物车商品管理、订单:负责订单提交,定时任务的处理、功能搭建:sso单点登录,cart购物车系统,order订单系统,manage后台系统,web前台系统 |
SpringCloud微服务整合 | 微服务概括springcloud-config:分布式配置中心组件,支持配置文件放在配置服务的内存中,也支持放在远程Git仓库里、springcloud-eureka:服务治理组件,可以管理微服务群体的所有服务调度、springcloud-ribbon:负载均衡组件,服务调度中高可用,轮询访问、springcloud-hystrix:断熔器,异常错误等处理的组件、springcloud-zuul:网关组件,可以用于服务调度的路由转发和过滤等作用、springcloud-feign:基于接口调用rest的组件、springcloud微服务框架重构EasyMall项目 |
大数据框架阶段
课程模块 | 课程内容 | 学习内容 |
大数据高并发基础 | 大数据java加强 | 学习java中关于Concurrent高并发包、NIO、序列化反序列化(AVRO)、RPC等相关知识,掌握zookeeper、sqoop等大数据领域常用工具原理及使用,为后续大数据课程学习、分布式理论理解打下基础 |
大数据离线数据分析 | Hadoop | Hadoop是知名的大数据处理工具,包括分布式数据存储系统 HDFS、分布式数据计算框架MapReduce和资源协调框架Yarn三大组件。HDFS: 详细讲解HDFS使用方式、存储机制、可靠性增加、上传、下载、删除等实现原理、Java开发Api开发插件等内容。MapReduce: 详细讲解MR理论基础、开发方式、序列化机制、分区机制、Combiner机制、shuffle详细流程、MR案例、MR性能优化等内容。Yarn: 介绍Yarn资源协调框架的基本原理、使用及调优。Hadoop是大数据生态中知名的组件,在行业中应用广泛,是学习大数据重要的技术之一 |
Flume | Flume是大数据生态环境中流行的日志收集框架,基于其灵活的可广泛配置的使用方式及优良的效率被广泛的应用在大数据生产环境中。课程中详细讲解了Flume的Source、Channel、Sink、Selector、Interceptor、Processor等组件的使用。并通过美团应用案例,展示了Flume企业级应用场景的实现方式,并在后续项目中有大量的应用 | |
Hive | Hive是基于Hadoop的数据仓库工具,通过将结构化的数据文件映射为HIVE中的表,并提供类SQL的语法实现数据处理。学习内容包括hive的安装配置、hive的元数据库、hive的内部表外部表、hive的分区表、hive的分桶表、hive的语法、hive的UDF等内容 | |
Hbase | HBase是一种分布式、面向列的基于hadoop的非关系型数据库,合存储半结构化、非结构化的数据,基于其优良的设计,可以提供良好的实时数据存取能力,并提供更好的横向扩展能力,在企业级大数据开发中占用重要地位。课程中详细介绍了Hbase使用方式、Hbase逻辑结构、Hbase的理论基础-LSM树、Hbase的实现原理、Hbase表设计原则等内容,从理论到实践讲解Hbase相关知识 | |
Zebra 项目 | 项目名称:zebra电信日志数据分析项目业务背景:电信行业通过大量的电信基站为移动设备提供3G、4G网络信号,在移动设备通过基站访问网络的过程中,基站将会记录所有的访问数据,此项目通过大数据离线分析技术分析这些日志,得到相关的业务结论指导行业改进。学习目标:通过学习zebra电信日志分析项目,掌握企业级大数据离线分析技术应用的技术:flume收集日志,采用三层结构实现日志收集聚集较终持久化到hadoop hdfs中并实现日志收集过程中的失败恢复及负载均衡;hadoop hdfs分布式存储收集到的日志数据 ,hadoop mapreduce进行日志清洗、格式转换;hive进行日志处理、业务规则计算,按照不同维度分时段统计应用受欢迎程度、网站受欢迎程度、小区上网能力、小区上网喜好等信息;sqoop技术将处理完成的结果导出到关系型数据库;ECharts通过web技术实现结果数据的可视化;Zookeeper作为集群协调、集群状态监控工具 | |
大数据实时数据分析 | Storm | Storm是大数据行业中流行的大数据实时分析框架之一,是一个分布式的、高容错的实时计算系统,能够实现具有可靠性保障的分布式实时数据处理,在行业中广泛应用。在课程中讲解包括Storm基础、可靠性增加、并发控制、实现原理、Topology、StormSpout、StormBolt、StormStream行业应用等相关内容 |
Kafka | Kafka是一种具有高吞吐能力的分布式发布订阅消息系统,具有传统消息队列相关特性,此外具有一些独特的设计,可以实现分布式持久化的消息队列,在实时处理过程中通常用做数据缓存,为实时处理系统提供缓冲能力。在课程中包括kafka的安装配置、基本概念、实现原理、可靠性保障等相关理论及应用相关内容 | |
分布式编程思想 | 大数据问题的本质是海量数据,大数据解决方案的核心理念是分布式,分布式场景有其独特的问题、解决方案、设计思想,本节通过讨论分布式在各种技术背景、业务场景下的应用,揭示分布式技术的原理及应用原则 | |
网站流量分析项目 | 项目名称:电商网站流量分析项目学习目标:通过电商网站流量分析项目掌握企业级大数据离线分析、实时分析的的架构设计、技术应用及业务开发流程业务背景:网站在运营过程中除了产生大量的业务数据外还会产生大量的用户行为数据,包括用户访问网站时鼠标点击、浏览器信息、会话信息、语言环境、所处地域等相关信息,网站流量分析项目通过大数据离线、实时分析技术,分析产生的大量行为数据,得到网站运行方关注的各项业务指标数据,引导网站改进其页面布局、广告投放等相关运营行为,提升网站运行效率。应用的技术:通过在网站的前台页面中进行js埋点收集用户访问网站的行为信息;通过Ngnix和Tomcat服务器集群收集用户产生的行为数据,并通过Flume来进行收集、汇聚数据并分发到HDFS和Kafka为离线分析和实时分析提供数据来源;离线分析中通过MR、Hive等技术实现业务指标的离线计算,并通过Sqoop导出结果数据到关系型数据库;实时分析中通过Storm消费Kafka中的数据实现实时计算,中间数据通过HBase进行存储,结果数据通过JDBC写出到关系型数据库中;较终通过大数据可视化技术将结果数据展示给较终用户。计算指标包括网站的 PV、UV、VV、Bounce Rate、独立 ip、平均在线时长、新独立访客、访问深度等信息。整个系统分为数据收集、数据传递、数据分析三部分,数据分析又分为离线数据分析和实时数据分析,应对数据分析的不同的实时性需求 | |
大数据内存计算框架 | SCALA | Scala是一门函数式编程的语言,是学习Spark的基础,并在其他场景下也有广泛应用。Scala是一门多范式的编程语言,集成面向对象编程和函数式编程的各种特性。Scala视一切数据类型皆对象,且支持闭包、lambda等特性,语法简洁。Scala使用Actor作为并发模型,与Akka框架自然契合,是一种基于数据共享为主要机制的并发开发模式。Scala语言灵活、代码简介、高并发处理机制优良,特别适合于复杂的函数型计算,是Spark学习的基础语言。Scala的语法内容包括:方法定义、变量、字符串、泛型、Option、集合、程序控制结构、匿名函数、类、Class Case样例类。模式匹配、traits、extends、函数式编程、高阶函数、AKKA编程等内容。学员学习完成后可以掌握Scala这门语言,并理解函数式编程这种编程范式 |
SPARK | 知名的内存计算框架,可用来构建大型的、低延迟的数据分析应用程序,在迭代处理计算方面比Hadoop快100倍以上。Spark构建了自己的整个大数据处理生态系统,如流处理、图计算、机器学习、类SQL查询等方面都有自己的技术,并且是Apache项目。基于其良好的设计、超强的性能、良好的编程接口、丰富的生态体系,在大数据开发领域发展迅速,特别是较近几年在国内的大数据开发领域中得到了广泛的应用。内容包括SparkCore:Spark核心计算模型。包括Spark基础、RDD弹性分布式数据集、DAG有向无环图、Spark原理(懒执行机制、宽依赖、窄依赖、Transformation类型方法、Action类型方法、流水线优化、Shuffle过程等)、Spark中的函数等内容,通过学习可以掌握Spark核心计算机制。SparkSQL: 基于Spark的SQL编程接口,可以实现在Spark中通过类SQL的方式操作数据,因其基于性能优良Spark工作,性能相对于Hive有大幅提升SparkStreaming:基于Spark实现的流式计算,相对于Storm在吞吐率、可靠性增加、开发便利程度上都有质的飞跃SparkMllib:基于Spark的机器学习相关组件,可以实现海量数据下的机器学习 | |
推荐系统项目 | 学习目标:通过学习推荐系统项目掌握推荐系统相关算法、了解海量数据场景下自动化推荐技术、提升综合运用大数据技术的能力、提高对算法、WEB技术、互联网架构等技术的应用能力,实现企业级大数据开发的架构设计、需求分析、业务实现等环节,掌握大数据技术的综合运用能力。业务背景:在线学习网站在运营时产生了大量用户的访问、浏览、购买课程、支付等相关数据通过这些数据为用户精准推荐相关产品,提升网站的用户体验。应用的技术:综合应用之前所学技术实现,包括大数据离线分析技术、大数据实时分析技术、WEB技术、可视化技术、算法、机器学习等技术实现该项目。主要过程包括:收集业务系统数据库中结构化数据、日志系统中的行为数据,构建基于hive的数据仓库,基于数据仓库中的基础数据,利用推荐算法实现基于商品的推荐系统,为在线学习网站推荐提供支持 | |
Python爬虫、数据可视化 | Python语言及爬虫 | Python是一种脚本化语言,具有简单易用、天然开源、生态丰富、应用范围广泛的特点。在大数据技术中,数据获取是第一步骤,其中利用爬虫获取互联网中公开的数据是一种非常常见的场景。Python爬虫技术在爬虫领域具有很广泛的应用,课程中将介绍Python的基本语法、基于Python的爬虫实现、Scrapy、PySpider等爬虫框架,使学员具有基于Python的爬虫开发能力 |
数据可视化 | 数据可视化技术是大数据处理过程中的结果展示相关技术,通过相关工具将分析结果展示为直观的、美观的图形页面,为较终用户提供展示效果。内容包括:利用Echarts等Web前端技术实现大数据可视化 利用相关大数据可视化工具实现大数据可视化等内容 |
数据挖掘与机器学习算法阶段
课程模块 | 课程内容 | 学习内容 |
算法基础 | 统计学基础 | 统计学是关于认识客观现象总体数量特征和数量关系的科学。学习本课程的目的在于使学生掌握收集、处理、分析、解释数据的能力,并能从数据中得出结论或结果。能够通过搜集、整理、分析统计资料,认识客观现象数量规律性,并应用于所专修的专业领域去解决实际问题 |
R语言基础 | R是用于统计分析、绘图的语言和操作环境,它是一个用于统计计算和统计制图的工具 | |
算法模型 | 回归模型 | 回归模型研究的问题 因变量(y)和一个或多个自变量(x)的函数关系,可以用于预测,是现代预测学的基础。此外也可以用于分类。学习的算法有:较小二乘回归、逐步回归、岭回归、LASSO回归、LAR回归等 |
正则化模型 | 正则化模型的思想是基于一个基础模型(比如较小二乘回归)引入惩罚措施,目的是使模型具有更好的泛化能力 | |
决策树模型 | 数据挖掘中决策树是一种常用算法模型,既可以用来作预测,也可以用于数据分类。决策树建立的模型不是函数式,而是一个决策树,易于理解。学习的算法有:ID3算法树、C4.5算法树、CART算法树等 | |
判别模型 | 判别模型模型的特点基于样本数据建立判别函数,通过判别函数判别新样本的类归属问题。学习的算法有:Fisher判别、K-较近邻判别法等 | |
集成模型 | 集成模型的特点将多个弱模型组合在一起。所以可以提高模型的精度和准确度。所以深受欢迎。学习的算法有:Bagging算法、Boosting 算法、Random Forest算法等 | |
聚类模型 | 聚类算法的特点一般是基于距离度量来对数据做聚类分析。学习的算法有:层次聚类法、K-Means聚类等 | |
贝叶斯模型 | 贝叶斯模型的核心思想是基于贝叶斯公式(定理),是一个种概率模型,可以应用自动推理,文本分析等领域。学习的算法有:朴素贝叶斯分类器、贝叶斯信念网络等 | |
SVM模型 | 支持向量机主要解决分类问题,擅长处理高维数据,多应用于模式识别领域,比如手写体识别,图片识别等场景 | |
推荐系统模型 | 主要基于ALS算法实现基于用户的推荐和基于物品的推荐。推荐系统模型是购物平台或新闻讯息平台使用较多的一种模型实现 |
课程: 上海黄浦区达内大数据分析培训
学校: 上海黄浦区延安东路达内教育
咨询电话:
相关内容: 上海黄浦区大数据分析 达内大数据分析培训