根据山西省职业院校技能大赛组织委员会《关于进一步规范全省第十五届职业院校技能大赛企业合作相关工作的通知》(晋教职赛〔2021〕11号)文件精神,现面向社会公开征集高职组“大数据技术与应用”赛项合作企业,现将有关事项通知如下:
一、合作企业基本条件
1.独立法人企业:合作企业须是独立法人,能够提供满足赛项所需的产品和服务。
2.企业资信:合作企业应有较好的资信,运营良好,无不良借贷记录、无重大经济和知识产权纠纷、无恶意拖欠款等行为。
3.企业社会声誉:合作企业近三年在经营活动中,没有违法违规和失信记录,没有违反大赛制度等行为。
4.校企合作:合作企业应有广泛、深度的校企合作基础。
5.技能竞赛合作经历:有参与职业院校技能竞赛(国赛、省赛或行业赛等)的合作经历。合作企业提供的设备技术先进、质量稳定,设备价格合理。
6.合作企业应具有自主知识产权或依法享有知识产权的独占权与授予权。无法院未审结的知识产权纠纷案。
7.优先考虑符合下列条件之一的企业:国家产教融合型企业;教育部公布的现代学徒制试点企业;教育部公布的 1+X证书制度试点企业;山西省产教融合型企业入库培育企业。
二、提交材料、评审时间
提交材料时间:2021年8月6日上午9:00 截止。
评审答辩时间:2021年8月6日9:00--11:00
三、联系人
晋城职业技术学院信息工程系 张老师:18603567775
附件一:2021年山西省第十五届职业院校技能大赛“高职组大数据技术与应用”技术平台要求说明
附件二:2021年山西省第十五届职业院校技能大赛“高职组大数据技术与应用”赛项合作企业提交材料清单
2021年7月28日
附件一:
2021年山西省第十五届职业院校技能大赛高职组
“大数据技术与应用”技术平台要求说明
1.竞赛任务在平台内设置,比赛选手须在平台内完成所有的业务处理任务,竞赛结果由评分裁判评分。
2.技术平台支持团队赛竞赛模式, 比赛选手合作完成任务并编写任务报告。
赛项以大数据技术与应用为核心内容,重点考查参赛选手基于Hadoop、Spark平台环境下,利用Hadoop、Spark技术生态组件,综合软件开发相关技术,解决实际问题的能力,具体包括:
1)掌握按照项目需求配置管理Hadoop、Spark大数据平台及相关生态组件;
2)掌握企业常用数据清洗工具相关技术,完成指定数据的清洗及分析能力;
3)综合利用HDFS、Spark、Flask等技术,使用Java、Python等开发语言,完成数据清洗、存储、转化、分析及数据推送等一系列大数据操作;
4)综合运用HTML、CSS、javascript、Python等开发语言,对数据进行可视化呈现;
5)根据数据可视化结果,完成数据分析报告的编写。
竞赛内容构成如下:
序号 | 比赛模块 | 考核知识点和技能点 |
1 | Hadoop平台及其组件的配置和部署 | 选手对Hadoop 平台及组件的部署、管理、应用 |
2 | 数据获取与分布式文件系统操作 | 选手多维度数据采集能力,包括对关系 型数据库、非关系型数据库和网络爬虫 技术的应用 |
3 | Spark数据清洗与分析 | 基于Spark Java API的本地项目搭建 |
导入本地Java项目的依赖库 | ||
掌握在Spark 框架下的Java API编程 | ||
熟练使用SparkSQL读写HDFS | ||
使用检索和清洗函数处理Spark内存表数据。 | ||
根据实验任务书编写分析模块代码 | ||
进行编译、打包、提交集群,执行Spark程序,监控任务执行情况。输出目标数据文件。 | ||
4 | 数据可视化 | 选手通过常见的数据可视化方法,使用 Python 语言将数据分析结果以图表的形式进行呈现、统计 |
5 | 综合分析 | 通过项目代码和架构,根据数据分析结果及可视化图表进行报告编写,形成决策分析报告。 |
1) Hadoop平台及其组件的配置和部署模块:选手完成Hadoop 平台及其组件的配置和部署,掌握常用的基本配置和基础软件安装,能够部署和管理高可用集群。
2) 数据获取与分布式文件系统操作模块:选手通过网络爬虫技术、Linux基础命令来获取数据,运用分布式文件系统命令行与Hadoop平台及其组件的API进行操作。
3) Spark数据清洗与分析模块:选手对分布式计算和分布式存储架构下的数据读写、数据清洗、数据转换、数据分析等综合应用能力,使用Java、Scala开发语言,完成Spark框架下的HDFS读写、内存表构建、SQL函数关联合并过滤等一系列数据操作。
4) 数据可视化模块:选手运用常见的数据可视化方法,将数据分析结果以图表的形式进行呈现,使用Java、Python等编程语言,实现数据源分析结果展现。
5) 综合分析模块:选手通过运用大数据技术来进行决策分析和归纳概括来体现综合操作能力和表达能力。
竞赛结果由判分裁判进行判分,裁判员执裁过程中,各模块由分组裁判员进行背对背评分,由小组长负责裁定成绩一致方提交到成绩统计组,统计组再次核对每小题的得分,并汇总产生每套竞赛文档号的对应成绩。
竞赛各阶段分值权重分布如下:
主要涉及的知识和技能点 | 分值权重 |
Hadoop平台及其组件的配置和部署 | 25% |
数据获取与分布式文件系统操作 | 10% |
Spark数据清洗与分析 | 25% |
数据可视化 | 20% |
综合分析 | 15% |
团队分工明确合理、操作规范、文明竞赛 | 5% |
评分表按照选手对应题目要求实现过程及结果进行评分,评分样表如下:
任务 | 考查点 | 描述 | 评分标准 | 分值(分) |
Hadoop平台及其组件的配置和部署(25分) | Linux命令、配置文件 | 考察Hadoop + Spark集群的部署能力,掌握常用的基本配置和基础软件安装,能够部署和管理高可用集群。掌握Web平台的搭建。 | 主要评分点包括Linux系统基本操作、集群免密配置、基础软件安装配置、Hadoop集群配置、Spark集群配置。 | 25 |
数据获取与分布式文件系统操作(10分) | Linux命令、Hadoop命令、HDFS 编程 | 掌握Linux基础命令。考察Hadoop文件系统的常用命令,掌握分布式文件系统命令行操作与API操作。 | 主要评分点包括Linux基础命令、Hadoop文件系统的操作命令、Hadoop API操作代码。 | 10 |
Spark数据清洗与分析(25分) | Spark Java API编程、SparkSQL函数应用、HDFS读写编程 | 考察对分布式计算和分布式存储架构下的数据读写、数据清洗、数据转换、数据分析等综合应用能力,使用Java开发语言,完成Spark框架下的HDFS读写、内存表构建、SQL函数关联合并过滤等一系列数据操作 | 主要评分点包括Spark Java API编程、 SparkSQL组件编程、数据读写、数据清洗、数据转换、编译打包、Spark任务提交。 HDFS读写编程。 | 25 |
数据可视化(20分) | Web编程、可视化 | 通过常见的数据可视化方法,将数据分析结果以图表的形式进行呈现,使用Java、Python及HTML等编程语言,实现数据源分析结果展现 | 主要评分点包括Web平台搭建、后台代码开发、前端代码开发、图表展示。 | 20 |
综合分析(15分) | 报告编写、决策分析 | 考察学生对大数据技术与决策分析和归纳概括表述的综合操作能力和表达能力 | 主要评分点包括能够按照赛项要求编写报告,关键点截图、分析归纳、文字表述、决策分析能力。 | 15 |
团队协作(5分) | 团队协作 | 团队分工明确合理、操作规范、文明竞赛 | 主要评分点包括:竞赛团队分工明确合理、操作规范、文明竞赛。 | 5 |
附件二:
2021年山西省第十五届职业院校技能大赛高职组
“大数据技术与应用”赛项合作企业提交材料清单
一、企业基本情况
1.有效的营业执照副本或法人证书副本(复印件加盖公章)。
2.最近半年内任意一个月的纳税有效凭据或相关部门出具的依法纳税有效证明文件(复印件加盖公章)。
3.法定代表人身份证(复印件加盖公章)、授权委托书(原件)、联系电话、邮箱等信息。
二、企业资信与社会声誉
1.银行开具的企业基本账户资信证明材料(原件)。
2.在“全国法院失信被执行人名单信息公布与查询”平台(http:// zxgk.court.gov.cn/shixin)中查询记录(加盖公章)。
3.在国家企业信用信息公示系统中查询记录(加盖公章)(http://www.gsxt.gov.cn)。
4.企业行业资信等级证书材料(加盖公章)。
5.企业近两年的营业收入和审计报告(加盖公章)。
6.企业近三年获得国家级、省级荣誉情况(附证书)。
7.企业质量管理体系认证材料(加盖公章)。
8.所申报的技术平台没有产权争议的承诺(加盖公章)。
三、校企合作情况
提供校企合作协议(合同)及采购协议(合同、发票) 等佐证材料,协议(合同)主要包括专业课程建设和实训室建设等方面的内容。
四、大赛合作经历
提供参与职业院校技能竞赛(国赛、省赛、世赛选拔赛或行业赛等)合作协议或相关佐证材料。
五、技术平台情况
1.提供技术平台或设备是自主生产和自主研发的承诺书(加盖公章)
2.提供技术平台或设备的相关行业部门鉴定书(加盖公章)。
3.提供技术平台或设备与赛项的匹配度说明材料(加盖公章)。
4.提供技术平台市场占有率说明。
六、意向合作内容
1.拟合作的赛项。
2.向大赛提供的支持项目(设备、经费、技术等)及数量。
3.提供竞赛设备一览表(技术平台与赛项的匹配度)。
4.提供竞赛设备的图片、技术文件、用户说明书。
5.承诺向参赛院校提供竞赛设备的优惠价格(不得高于政府采购价格)。
七、以上提供材料真实可靠的承诺证明(法人签字、公司盖章)。
下载:晋城职业技术学院关于征集2021年山西省第十五届职业院校技能大赛高职组“大数据技术与应用”赛项合作企业公告
根据山西省职业院校技能大赛组织委员会《关于进一步规范全省第十五届职业院校技能大赛企业合作相关工作的通知》(晋教职赛〔2021〕11号)文件精神,现面向社会公开征集高职组“大数据技术与应用”赛项合作企业,现将有关事项通知如下:
一、合作企业基本条件
1.独立法人企业:合作企业须是独立法人,能够提供满足赛项所需的产品和服务。
2.企业资信:合作企业应有较好的资信,运营良好,无不良借贷记录、无重大经济和知识产权纠纷、无恶意拖欠款等行为。
3.企业社会声誉:合作企业近三年在经营活动中,没有违法违规和失信记录,没有违反大赛制度等行为。
4.校企合作:合作企业应有广泛、深度的校企合作基础。
5.技能竞赛合作经历:有参与职业院校技能竞赛(国赛、省赛或行业赛等)的合作经历。合作企业提供的设备技术先进、质量稳定,设备价格合理。
6.合作企业应具有自主知识产权或依法享有知识产权的独占权与授予权。无法院未审结的知识产权纠纷案。
7.优先考虑符合下列条件之一的企业:国家产教融合型企业;教育部公布的现代学徒制试点企业;教育部公布的 1+X证书制度试点企业;山西省产教融合型企业入库培育企业。
二、提交材料、评审时间
提交材料时间:2021年8月6日上午9:00 截止。
评审答辩时间:2021年8月6日9:00--11:00
三、联系人
晋城职业技术学院信息工程系 张老师:18603567775
附件一:2021年山西省第十五届职业院校技能大赛“高职组大数据技术与应用”技术平台要求说明
附件二:2021年山西省第十五届职业院校技能大赛“高职组大数据技术与应用”赛项合作企业提交材料清单
2021年7月28日
附件一:
2021年山西省第十五届职业院校技能大赛高职组
“大数据技术与应用”技术平台要求说明
1.竞赛任务在平台内设置,比赛选手须在平台内完成所有的业务处理任务,竞赛结果由评分裁判评分。
2.技术平台支持团队赛竞赛模式, 比赛选手合作完成任务并编写任务报告。
赛项以大数据技术与应用为核心内容,重点考查参赛选手基于Hadoop、Spark平台环境下,利用Hadoop、Spark技术生态组件,综合软件开发相关技术,解决实际问题的能力,具体包括:
1)掌握按照项目需求配置管理Hadoop、Spark大数据平台及相关生态组件;
2)掌握企业常用数据清洗工具相关技术,完成指定数据的清洗及分析能力;
3)综合利用HDFS、Spark、Flask等技术,使用Java、Python等开发语言,完成数据清洗、存储、转化、分析及数据推送等一系列大数据操作;
4)综合运用HTML、CSS、javascript、Python等开发语言,对数据进行可视化呈现;
5)根据数据可视化结果,完成数据分析报告的编写。
竞赛内容构成如下:
序号 | 比赛模块 | 考核知识点和技能点 |
1 | Hadoop平台及其组件的配置和部署 | 选手对Hadoop 平台及组件的部署、管理、应用 |
2 | 数据获取与分布式文件系统操作 | 选手多维度数据采集能力,包括对关系 型数据库、非关系型数据库和网络爬虫 技术的应用 |
3 | Spark数据清洗与分析 | 基于Spark Java API的本地项目搭建 |
导入本地Java项目的依赖库 | ||
掌握在Spark 框架下的Java API编程 | ||
熟练使用SparkSQL读写HDFS | ||
使用检索和清洗函数处理Spark内存表数据。 | ||
根据实验任务书编写分析模块代码 | ||
进行编译、打包、提交集群,执行Spark程序,监控任务执行情况。输出目标数据文件。 | ||
4 | 数据可视化 | 选手通过常见的数据可视化方法,使用 Python 语言将数据分析结果以图表的形式进行呈现、统计 |
5 | 综合分析 | 通过项目代码和架构,根据数据分析结果及可视化图表进行报告编写,形成决策分析报告。 |
1) Hadoop平台及其组件的配置和部署模块:选手完成Hadoop 平台及其组件的配置和部署,掌握常用的基本配置和基础软件安装,能够部署和管理高可用集群。
2) 数据获取与分布式文件系统操作模块:选手通过网络爬虫技术、Linux基础命令来获取数据,运用分布式文件系统命令行与Hadoop平台及其组件的API进行操作。
3) Spark数据清洗与分析模块:选手对分布式计算和分布式存储架构下的数据读写、数据清洗、数据转换、数据分析等综合应用能力,使用Java、Scala开发语言,完成Spark框架下的HDFS读写、内存表构建、SQL函数关联合并过滤等一系列数据操作。
4) 数据可视化模块:选手运用常见的数据可视化方法,将数据分析结果以图表的形式进行呈现,使用Java、Python等编程语言,实现数据源分析结果展现。
5) 综合分析模块:选手通过运用大数据技术来进行决策分析和归纳概括来体现综合操作能力和表达能力。
竞赛结果由判分裁判进行判分,裁判员执裁过程中,各模块由分组裁判员进行背对背评分,由小组长负责裁定成绩一致方提交到成绩统计组,统计组再次核对每小题的得分,并汇总产生每套竞赛文档号的对应成绩。
竞赛各阶段分值权重分布如下:
主要涉及的知识和技能点 | 分值权重 |
Hadoop平台及其组件的配置和部署 | 25% |
数据获取与分布式文件系统操作 | 10% |
Spark数据清洗与分析 | 25% |
数据可视化 | 20% |
综合分析 | 15% |
团队分工明确合理、操作规范、文明竞赛 | 5% |
评分表按照选手对应题目要求实现过程及结果进行评分,评分样表如下:
任务 | 考查点 | 描述 | 评分标准 | 分值(分) |
Hadoop平台及其组件的配置和部署(25分) | Linux命令、配置文件 | 考察Hadoop + Spark集群的部署能力,掌握常用的基本配置和基础软件安装,能够部署和管理高可用集群。掌握Web平台的搭建。 | 主要评分点包括Linux系统基本操作、集群免密配置、基础软件安装配置、Hadoop集群配置、Spark集群配置。 | 25 |
数据获取与分布式文件系统操作(10分) | Linux命令、Hadoop命令、HDFS 编程 | 掌握Linux基础命令。考察Hadoop文件系统的常用命令,掌握分布式文件系统命令行操作与API操作。 | 主要评分点包括Linux基础命令、Hadoop文件系统的操作命令、Hadoop API操作代码。 | 10 |
Spark数据清洗与分析(25分) | Spark Java API编程、SparkSQL函数应用、HDFS读写编程 | 考察对分布式计算和分布式存储架构下的数据读写、数据清洗、数据转换、数据分析等综合应用能力,使用Java开发语言,完成Spark框架下的HDFS读写、内存表构建、SQL函数关联合并过滤等一系列数据操作 | 主要评分点包括Spark Java API编程、 SparkSQL组件编程、数据读写、数据清洗、数据转换、编译打包、Spark任务提交。 HDFS读写编程。 | 25 |
数据可视化(20分) | Web编程、可视化 | 通过常见的数据可视化方法,将数据分析结果以图表的形式进行呈现,使用Java、Python及HTML等编程语言,实现数据源分析结果展现 | 主要评分点包括Web平台搭建、后台代码开发、前端代码开发、图表展示。 | 20 |
综合分析(15分) | 报告编写、决策分析 | 考察学生对大数据技术与决策分析和归纳概括表述的综合操作能力和表达能力 | 主要评分点包括能够按照赛项要求编写报告,关键点截图、分析归纳、文字表述、决策分析能力。 | 15 |
团队协作(5分) | 团队协作 | 团队分工明确合理、操作规范、文明竞赛 | 主要评分点包括:竞赛团队分工明确合理、操作规范、文明竞赛。 | 5 |
附件二:
2021年山西省第十五届职业院校技能大赛高职组
“大数据技术与应用”赛项合作企业提交材料清单
一、企业基本情况
1.有效的营业执照副本或法人证书副本(复印件加盖公章)。
2.最近半年内任意一个月的纳税有效凭据或相关部门出具的依法纳税有效证明文件(复印件加盖公章)。
3.法定代表人身份证(复印件加盖公章)、授权委托书(原件)、联系电话、邮箱等信息。
二、企业资信与社会声誉
1.银行开具的企业基本账户资信证明材料(原件)。
2.在“全国法院失信被执行人名单信息公布与查询”平台(http:// zxgk.court.gov.cn/shixin)中查询记录(加盖公章)。
3.在国家企业信用信息公示系统中查询记录(加盖公章)(http://www.gsxt.gov.cn)。
4.企业行业资信等级证书材料(加盖公章)。
5.企业近两年的营业收入和审计报告(加盖公章)。
6.企业近三年获得国家级、省级荣誉情况(附证书)。
7.企业质量管理体系认证材料(加盖公章)。
8.所申报的技术平台没有产权争议的承诺(加盖公章)。
三、校企合作情况
提供校企合作协议(合同)及采购协议(合同、发票) 等佐证材料,协议(合同)主要包括专业课程建设和实训室建设等方面的内容。
四、大赛合作经历
提供参与职业院校技能竞赛(国赛、省赛、世赛选拔赛或行业赛等)合作协议或相关佐证材料。
五、技术平台情况
1.提供技术平台或设备是自主生产和自主研发的承诺书(加盖公章)
2.提供技术平台或设备的相关行业部门鉴定书(加盖公章)。
3.提供技术平台或设备与赛项的匹配度说明材料(加盖公章)。
4.提供技术平台市场占有率说明。
六、意向合作内容
1.拟合作的赛项。
2.向大赛提供的支持项目(设备、经费、技术等)及数量。
3.提供竞赛设备一览表(技术平台与赛项的匹配度)。
4.提供竞赛设备的图片、技术文件、用户说明书。
5.承诺向参赛院校提供竞赛设备的优惠价格(不得高于政府采购价格)。
七、以上提供材料真实可靠的承诺证明(法人签字、公司盖章)。
下载:晋城职业技术学院关于征集2021年山西省第十五届职业院校技能大赛高职组“大数据技术与应用”赛项合作企业公告
根据山西省职业院校技能大赛组织委员会《关于进一步规范全省第十五届职业院校技能大赛企业合作相关工作的通知》(晋教职赛〔2021〕11号)文件精神,现面向社会公开征集高职组“大数据技术与应用”赛项合作企业,现将有关事项通知如下:
一、合作企业基本条件
1.独立法人企业:合作企业须是独立法人,能够提供满足赛项所需的产品和服务。
2.企业资信:合作企业应有较好的资信,运营良好,无不良借贷记录、无重大经济和知识产权纠纷、无恶意拖欠款等行为。
3.企业社会声誉:合作企业近三年在经营活动中,没有违法违规和失信记录,没有违反大赛制度等行为。
4.校企合作:合作企业应有广泛、深度的校企合作基础。
5.技能竞赛合作经历:有参与职业院校技能竞赛(国赛、省赛或行业赛等)的合作经历。合作企业提供的设备技术先进、质量稳定,设备价格合理。
6.合作企业应具有自主知识产权或依法享有知识产权的独占权与授予权。无法院未审结的知识产权纠纷案。
7.优先考虑符合下列条件之一的企业:国家产教融合型企业;教育部公布的现代学徒制试点企业;教育部公布的 1+X证书制度试点企业;山西省产教融合型企业入库培育企业。
二、提交材料、评审时间
提交材料时间:2021年8月6日上午9:00 截止。
评审答辩时间:2021年8月6日9:00--11:00
三、联系人
晋城职业技术学院信息工程系 张老师:18603567775
附件一:2021年山西省第十五届职业院校技能大赛“高职组大数据技术与应用”技术平台要求说明
附件二:2021年山西省第十五届职业院校技能大赛“高职组大数据技术与应用”赛项合作企业提交材料清单
2021年7月28日
附件一:
2021年山西省第十五届职业院校技能大赛高职组
“大数据技术与应用”技术平台要求说明
1.竞赛任务在平台内设置,比赛选手须在平台内完成所有的业务处理任务,竞赛结果由评分裁判评分。
2.技术平台支持团队赛竞赛模式, 比赛选手合作完成任务并编写任务报告。
赛项以大数据技术与应用为核心内容,重点考查参赛选手基于Hadoop、Spark平台环境下,利用Hadoop、Spark技术生态组件,综合软件开发相关技术,解决实际问题的能力,具体包括:
1)掌握按照项目需求配置管理Hadoop、Spark大数据平台及相关生态组件;
2)掌握企业常用数据清洗工具相关技术,完成指定数据的清洗及分析能力;
3)综合利用HDFS、Spark、Flask等技术,使用Java、Python等开发语言,完成数据清洗、存储、转化、分析及数据推送等一系列大数据操作;
4)综合运用HTML、CSS、javascript、Python等开发语言,对数据进行可视化呈现;
5)根据数据可视化结果,完成数据分析报告的编写。
竞赛内容构成如下:
序号 | 比赛模块 | 考核知识点和技能点 |
1 | Hadoop平台及其组件的配置和部署 | 选手对Hadoop 平台及组件的部署、管理、应用 |
2 | 数据获取与分布式文件系统操作 | 选手多维度数据采集能力,包括对关系 型数据库、非关系型数据库和网络爬虫 技术的应用 |
3 | Spark数据清洗与分析 | 基于Spark Java API的本地项目搭建 |
导入本地Java项目的依赖库 | ||
掌握在Spark 框架下的Java API编程 | ||
熟练使用SparkSQL读写HDFS | ||
使用检索和清洗函数处理Spark内存表数据。 | ||
根据实验任务书编写分析模块代码 | ||
进行编译、打包、提交集群,执行Spark程序,监控任务执行情况。输出目标数据文件。 | ||
4 | 数据可视化 | 选手通过常见的数据可视化方法,使用 Python 语言将数据分析结果以图表的形式进行呈现、统计 |
5 | 综合分析 | 通过项目代码和架构,根据数据分析结果及可视化图表进行报告编写,形成决策分析报告。 |
1) Hadoop平台及其组件的配置和部署模块:选手完成Hadoop 平台及其组件的配置和部署,掌握常用的基本配置和基础软件安装,能够部署和管理高可用集群。
2) 数据获取与分布式文件系统操作模块:选手通过网络爬虫技术、Linux基础命令来获取数据,运用分布式文件系统命令行与Hadoop平台及其组件的API进行操作。
3) Spark数据清洗与分析模块:选手对分布式计算和分布式存储架构下的数据读写、数据清洗、数据转换、数据分析等综合应用能力,使用Java、Scala开发语言,完成Spark框架下的HDFS读写、内存表构建、SQL函数关联合并过滤等一系列数据操作。
4) 数据可视化模块:选手运用常见的数据可视化方法,将数据分析结果以图表的形式进行呈现,使用Java、Python等编程语言,实现数据源分析结果展现。
5) 综合分析模块:选手通过运用大数据技术来进行决策分析和归纳概括来体现综合操作能力和表达能力。
竞赛结果由判分裁判进行判分,裁判员执裁过程中,各模块由分组裁判员进行背对背评分,由小组长负责裁定成绩一致方提交到成绩统计组,统计组再次核对每小题的得分,并汇总产生每套竞赛文档号的对应成绩。
竞赛各阶段分值权重分布如下:
主要涉及的知识和技能点 | 分值权重 |
Hadoop平台及其组件的配置和部署 | 25% |
数据获取与分布式文件系统操作 | 10% |
Spark数据清洗与分析 | 25% |
数据可视化 | 20% |
综合分析 | 15% |
团队分工明确合理、操作规范、文明竞赛 | 5% |
评分表按照选手对应题目要求实现过程及结果进行评分,评分样表如下:
任务 | 考查点 | 描述 | 评分标准 | 分值(分) |
Hadoop平台及其组件的配置和部署(25分) | Linux命令、配置文件 | 考察Hadoop + Spark集群的部署能力,掌握常用的基本配置和基础软件安装,能够部署和管理高可用集群。掌握Web平台的搭建。 | 主要评分点包括Linux系统基本操作、集群免密配置、基础软件安装配置、Hadoop集群配置、Spark集群配置。 | 25 |
数据获取与分布式文件系统操作(10分) | Linux命令、Hadoop命令、HDFS 编程 | 掌握Linux基础命令。考察Hadoop文件系统的常用命令,掌握分布式文件系统命令行操作与API操作。 | 主要评分点包括Linux基础命令、Hadoop文件系统的操作命令、Hadoop API操作代码。 | 10 |
Spark数据清洗与分析(25分) | Spark Java API编程、SparkSQL函数应用、HDFS读写编程 | 考察对分布式计算和分布式存储架构下的数据读写、数据清洗、数据转换、数据分析等综合应用能力,使用Java开发语言,完成Spark框架下的HDFS读写、内存表构建、SQL函数关联合并过滤等一系列数据操作 | 主要评分点包括Spark Java API编程、 SparkSQL组件编程、数据读写、数据清洗、数据转换、编译打包、Spark任务提交。 HDFS读写编程。 | 25 |
数据可视化(20分) | Web编程、可视化 | 通过常见的数据可视化方法,将数据分析结果以图表的形式进行呈现,使用Java、Python及HTML等编程语言,实现数据源分析结果展现 | 主要评分点包括Web平台搭建、后台代码开发、前端代码开发、图表展示。 | 20 |
综合分析(15分) | 报告编写、决策分析 | 考察学生对大数据技术与决策分析和归纳概括表述的综合操作能力和表达能力 | 主要评分点包括能够按照赛项要求编写报告,关键点截图、分析归纳、文字表述、决策分析能力。 | 15 |
团队协作(5分) | 团队协作 | 团队分工明确合理、操作规范、文明竞赛 | 主要评分点包括:竞赛团队分工明确合理、操作规范、文明竞赛。 | 5 |
附件二:
2021年山西省第十五届职业院校技能大赛高职组
“大数据技术与应用”赛项合作企业提交材料清单
一、企业基本情况
1.有效的营业执照副本或法人证书副本(复印件加盖公章)。
2.最近半年内任意一个月的纳税有效凭据或相关部门出具的依法纳税有效证明文件(复印件加盖公章)。
3.法定代表人身份证(复印件加盖公章)、授权委托书(原件)、联系电话、邮箱等信息。
二、企业资信与社会声誉
1.银行开具的企业基本账户资信证明材料(原件)。
2.在“全国法院失信被执行人名单信息公布与查询”平台(http:// zxgk.court.gov.cn/shixin)中查询记录(加盖公章)。
3.在国家企业信用信息公示系统中查询记录(加盖公章)(http://www.gsxt.gov.cn)。
4.企业行业资信等级证书材料(加盖公章)。
5.企业近两年的营业收入和审计报告(加盖公章)。
6.企业近三年获得国家级、省级荣誉情况(附证书)。
7.企业质量管理体系认证材料(加盖公章)。
8.所申报的技术平台没有产权争议的承诺(加盖公章)。
三、校企合作情况
提供校企合作协议(合同)及采购协议(合同、发票) 等佐证材料,协议(合同)主要包括专业课程建设和实训室建设等方面的内容。
四、大赛合作经历
提供参与职业院校技能竞赛(国赛、省赛、世赛选拔赛或行业赛等)合作协议或相关佐证材料。
五、技术平台情况
1.提供技术平台或设备是自主生产和自主研发的承诺书(加盖公章)
2.提供技术平台或设备的相关行业部门鉴定书(加盖公章)。
3.提供技术平台或设备与赛项的匹配度说明材料(加盖公章)。
4.提供技术平台市场占有率说明。
六、意向合作内容
1.拟合作的赛项。
2.向大赛提供的支持项目(设备、经费、技术等)及数量。
3.提供竞赛设备一览表(技术平台与赛项的匹配度)。
4.提供竞赛设备的图片、技术文件、用户说明书。
5.承诺向参赛院校提供竞赛设备的优惠价格(不得高于政府采购价格)。
七、以上提供材料真实可靠的承诺证明(法人签字、公司盖章)。
下载:晋城职业技术学院关于征集2021年山西省第十五届职业院校技能大赛高职组“大数据技术与应用”赛项合作企业公告
根据山西省职业院校技能大赛组织委员会《关于进一步规范全省第十五届职业院校技能大赛企业合作相关工作的通知》(晋教职赛〔2021〕11号)文件精神,现面向社会公开征集高职组“大数据技术与应用”赛项合作企业,现将有关事项通知如下:
一、合作企业基本条件
1.独立法人企业:合作企业须是独立法人,能够提供满足赛项所需的产品和服务。
2.企业资信:合作企业应有较好的资信,运营良好,无不良借贷记录、无重大经济和知识产权纠纷、无恶意拖欠款等行为。
3.企业社会声誉:合作企业近三年在经营活动中,没有违法违规和失信记录,没有违反大赛制度等行为。
4.校企合作:合作企业应有广泛、深度的校企合作基础。
5.技能竞赛合作经历:有参与职业院校技能竞赛(国赛、省赛或行业赛等)的合作经历。合作企业提供的设备技术先进、质量稳定,设备价格合理。
6.合作企业应具有自主知识产权或依法享有知识产权的独占权与授予权。无法院未审结的知识产权纠纷案。
7.优先考虑符合下列条件之一的企业:国家产教融合型企业;教育部公布的现代学徒制试点企业;教育部公布的 1+X证书制度试点企业;山西省产教融合型企业入库培育企业。
二、提交材料、评审时间
提交材料时间:2021年8月6日上午9:00 截止。
评审答辩时间:2021年8月6日9:00--11:00
三、联系人
晋城职业技术学院信息工程系 张老师:18603567775
附件一:2021年山西省第十五届职业院校技能大赛“高职组大数据技术与应用”技术平台要求说明
附件二:2021年山西省第十五届职业院校技能大赛“高职组大数据技术与应用”赛项合作企业提交材料清单
2021年7月28日
附件一:
2021年山西省第十五届职业院校技能大赛高职组
“大数据技术与应用”技术平台要求说明
1.竞赛任务在平台内设置,比赛选手须在平台内完成所有的业务处理任务,竞赛结果由评分裁判评分。
2.技术平台支持团队赛竞赛模式, 比赛选手合作完成任务并编写任务报告。
赛项以大数据技术与应用为核心内容,重点考查参赛选手基于Hadoop、Spark平台环境下,利用Hadoop、Spark技术生态组件,综合软件开发相关技术,解决实际问题的能力,具体包括:
1)掌握按照项目需求配置管理Hadoop、Spark大数据平台及相关生态组件;
2)掌握企业常用数据清洗工具相关技术,完成指定数据的清洗及分析能力;
3)综合利用HDFS、Spark、Flask等技术,使用Java、Python等开发语言,完成数据清洗、存储、转化、分析及数据推送等一系列大数据操作;
4)综合运用HTML、CSS、javascript、Python等开发语言,对数据进行可视化呈现;
5)根据数据可视化结果,完成数据分析报告的编写。
竞赛内容构成如下:
序号 | 比赛模块 | 考核知识点和技能点 |
1 | Hadoop平台及其组件的配置和部署 | 选手对Hadoop 平台及组件的部署、管理、应用 |
2 | 数据获取与分布式文件系统操作 | 选手多维度数据采集能力,包括对关系 型数据库、非关系型数据库和网络爬虫 技术的应用 |
3 | Spark数据清洗与分析 | 基于Spark Java API的本地项目搭建 |
导入本地Java项目的依赖库 | ||
掌握在Spark 框架下的Java API编程 | ||
熟练使用SparkSQL读写HDFS | ||
使用检索和清洗函数处理Spark内存表数据。 | ||
根据实验任务书编写分析模块代码 | ||
进行编译、打包、提交集群,执行Spark程序,监控任务执行情况。输出目标数据文件。 | ||
4 | 数据可视化 | 选手通过常见的数据可视化方法,使用 Python 语言将数据分析结果以图表的形式进行呈现、统计 |
5 | 综合分析 | 通过项目代码和架构,根据数据分析结果及可视化图表进行报告编写,形成决策分析报告。 |
1) Hadoop平台及其组件的配置和部署模块:选手完成Hadoop 平台及其组件的配置和部署,掌握常用的基本配置和基础软件安装,能够部署和管理高可用集群。
2) 数据获取与分布式文件系统操作模块:选手通过网络爬虫技术、Linux基础命令来获取数据,运用分布式文件系统命令行与Hadoop平台及其组件的API进行操作。
3) Spark数据清洗与分析模块:选手对分布式计算和分布式存储架构下的数据读写、数据清洗、数据转换、数据分析等综合应用能力,使用Java、Scala开发语言,完成Spark框架下的HDFS读写、内存表构建、SQL函数关联合并过滤等一系列数据操作。
4) 数据可视化模块:选手运用常见的数据可视化方法,将数据分析结果以图表的形式进行呈现,使用Java、Python等编程语言,实现数据源分析结果展现。
5) 综合分析模块:选手通过运用大数据技术来进行决策分析和归纳概括来体现综合操作能力和表达能力。
竞赛结果由判分裁判进行判分,裁判员执裁过程中,各模块由分组裁判员进行背对背评分,由小组长负责裁定成绩一致方提交到成绩统计组,统计组再次核对每小题的得分,并汇总产生每套竞赛文档号的对应成绩。
竞赛各阶段分值权重分布如下:
主要涉及的知识和技能点 | 分值权重 |
Hadoop平台及其组件的配置和部署 | 25% |
数据获取与分布式文件系统操作 | 10% |
Spark数据清洗与分析 | 25% |
数据可视化 | 20% |
综合分析 | 15% |
团队分工明确合理、操作规范、文明竞赛 | 5% |
评分表按照选手对应题目要求实现过程及结果进行评分,评分样表如下:
任务 | 考查点 | 描述 | 评分标准 | 分值(分) |
Hadoop平台及其组件的配置和部署(25分) | Linux命令、配置文件 | 考察Hadoop + Spark集群的部署能力,掌握常用的基本配置和基础软件安装,能够部署和管理高可用集群。掌握Web平台的搭建。 | 主要评分点包括Linux系统基本操作、集群免密配置、基础软件安装配置、Hadoop集群配置、Spark集群配置。 | 25 |
数据获取与分布式文件系统操作(10分) | Linux命令、Hadoop命令、HDFS 编程 | 掌握Linux基础命令。考察Hadoop文件系统的常用命令,掌握分布式文件系统命令行操作与API操作。 | 主要评分点包括Linux基础命令、Hadoop文件系统的操作命令、Hadoop API操作代码。 | 10 |
Spark数据清洗与分析(25分) | Spark Java API编程、SparkSQL函数应用、HDFS读写编程 | 考察对分布式计算和分布式存储架构下的数据读写、数据清洗、数据转换、数据分析等综合应用能力,使用Java开发语言,完成Spark框架下的HDFS读写、内存表构建、SQL函数关联合并过滤等一系列数据操作 | 主要评分点包括Spark Java API编程、 SparkSQL组件编程、数据读写、数据清洗、数据转换、编译打包、Spark任务提交。 HDFS读写编程。 | 25 |
数据可视化(20分) | Web编程、可视化 | 通过常见的数据可视化方法,将数据分析结果以图表的形式进行呈现,使用Java、Python及HTML等编程语言,实现数据源分析结果展现 | 主要评分点包括Web平台搭建、后台代码开发、前端代码开发、图表展示。 | 20 |
综合分析(15分) | 报告编写、决策分析 | 考察学生对大数据技术与决策分析和归纳概括表述的综合操作能力和表达能力 | 主要评分点包括能够按照赛项要求编写报告,关键点截图、分析归纳、文字表述、决策分析能力。 | 15 |
团队协作(5分) | 团队协作 | 团队分工明确合理、操作规范、文明竞赛 | 主要评分点包括:竞赛团队分工明确合理、操作规范、文明竞赛。 | 5 |
附件二:
2021年山西省第十五届职业院校技能大赛高职组
“大数据技术与应用”赛项合作企业提交材料清单
一、企业基本情况
1.有效的营业执照副本或法人证书副本(复印件加盖公章)。
2.最近半年内任意一个月的纳税有效凭据或相关部门出具的依法纳税有效证明文件(复印件加盖公章)。
3.法定代表人身份证(复印件加盖公章)、授权委托书(原件)、联系电话、邮箱等信息。
二、企业资信与社会声誉
1.银行开具的企业基本账户资信证明材料(原件)。
2.在“全国法院失信被执行人名单信息公布与查询”平台(http:// zxgk.court.gov.cn/shixin)中查询记录(加盖公章)。
3.在国家企业信用信息公示系统中查询记录(加盖公章)(http://www.gsxt.gov.cn)。
4.企业行业资信等级证书材料(加盖公章)。
5.企业近两年的营业收入和审计报告(加盖公章)。
6.企业近三年获得国家级、省级荣誉情况(附证书)。
7.企业质量管理体系认证材料(加盖公章)。
8.所申报的技术平台没有产权争议的承诺(加盖公章)。
三、校企合作情况
提供校企合作协议(合同)及采购协议(合同、发票) 等佐证材料,协议(合同)主要包括专业课程建设和实训室建设等方面的内容。
四、大赛合作经历
提供参与职业院校技能竞赛(国赛、省赛、世赛选拔赛或行业赛等)合作协议或相关佐证材料。
五、技术平台情况
1.提供技术平台或设备是自主生产和自主研发的承诺书(加盖公章)
2.提供技术平台或设备的相关行业部门鉴定书(加盖公章)。
3.提供技术平台或设备与赛项的匹配度说明材料(加盖公章)。
4.提供技术平台市场占有率说明。
六、意向合作内容
1.拟合作的赛项。
2.向大赛提供的支持项目(设备、经费、技术等)及数量。
3.提供竞赛设备一览表(技术平台与赛项的匹配度)。
4.提供竞赛设备的图片、技术文件、用户说明书。
5.承诺向参赛院校提供竞赛设备的优惠价格(不得高于政府采购价格)。
七、以上提供材料真实可靠的承诺证明(法人签字、公司盖章)。
下载:晋城职业技术学院关于征集2021年山西省第十五届职业院校技能大赛高职组“大数据技术与应用”赛项合作企业公告