背景需求

随着行业数字化变革的快速发展，大数据技术在诸多领域得到了越来越广泛的应用。但是企业的数据量日益庞大、相关文档繁杂、底层平台也越来越丰富，各类各样的应用需求如数据管理、数据剖析、资源协调等须要一个统一的平台来集中实现。与此同时，目前行业大数据剖析应用开发面临突出的技术人才过剩问题，这急切须要从中学教学和社会职业技术培训两个角度，培养大量熟练把握大数据剖析编程开发技术人才。大数据早已逐渐发展成当前的热门课程，社会职业培训以及院校甚至小学，都非常重视大数据编程技术的教育培训。因此，须要提供一种高效灵活和易学易用的大数据编程开发和教学实训平台。

产品介绍

山西鸿程大数据研究院开发了一款轻量级、通用化、易学易用的大数据与AI教学实训编程平台，可支持高效灵活和便捷快速的行业大数据交互式剖析编程与应用开发，同时可作为易学易用的大数据教学实训平台。该平台提供广为使用的、Java、Scala数据剖析编程语言与环境，底层集成了、Spark等大数据估算平台，以及HBase、Hive、等多种分布式大数据储存平台，并提供大数据剖析算法与可视化诠释能力，提供统一用户认证管理和多住户资源共享使用能力，以及良好的系统运维能力大数据编程培训，系统具有良好的高可靠性和高扩充性。平台适用于各行业与软件企业的大数据剖析应用开发，以及院校和培训机构的大数据与人工智能课程教学与科研实训。

平台构架

应用案例

除可广泛使用于行业大数据应用编程开发平台以外，本平台还可以广泛应用于大数据与人工智能课程的教学实训，已在上海学院大数据课程教学实践中应用多年，始终为南大的大数据课程教学与实验提供了良好的支撑；据悉，平台进一步在上海工程大学、南京外粤语中学在内的诸多院校和中学分校得到推广应用，积累了丰富的大数据与人工智能教学实验案例，取得了十分明显的应用成效。

功能特点轻量级、通用化、易用化

易学易用的轻量级大数据与AI教学实训编程平台，可便捷快速完成大数据剖析编程与应用开发

编程环境无缝融合

无缝融合基础开发编译平台，可与企业原有项目代码实现一键导出

常用编程语言与Web开发环境

提供、Java、Scala等大数据剖析编程语言环境以及基于Web的开发环境

系统免安装配置，便捷易用

系统不须要在用户端做任何安装配置，防止用户在底层自动配置和切换不同的大数据系统平台

大数据与AI教学科研编程平台

可扩充为大数据与AI教学实践与科研实训平台，为院校提供大数据与AI教学科研实训平台

外置主流大数据平台

外置、Spark等多种大数据估算平台大数据编程培训，支持稳定可靠的大规模数据剖析处理与估算任务

大数据剖析算法与可视化诠释

提供数据剖析与机器学习算法，支持柱状图、散点图、热点图以及网路关系图等数据可视化诠释

多数据源/数据库支持

可集成HDFS、、HBase、Hive、等分布式文件系统与数据库，可基于Web界面统一管理数据

用户统一认证与权限管理

为平台用户提供统一管理能力，完成用户注册、登录、认证、权限管理，以及资源使用情况审计

多住户共享平台与资源

支持基于YARN的资源共享分配和调度使用，提供对Spark、计算平台的多住户资源隔离

系统运行维护与扩充

支持对集群上分布式系统的状态监控，提供系统失效容错恢复能力，并可依照须要快速扩充集群规模