海盒大数据平台SDP
海盒大数据平台提供大数据的基础能力，包括分布式存储、分布式计算，集成了多个大数据基础组件、数据规划、可视化部署运维、资源管控、数据分析、数据安全等，满足不同业务场景，提高易用性，为企业级客户提供高性能的一站式大数据产品解决方案。
产品概述
海盒大数据平台（SDP）提供大数据基础能力，旨在帮助企业和组织高效地存储、处理和分析海量数据，从而提高决策效率和业务洞察能力。SDP集成和二次开发了多个大数据基础组件，包括数据接入、分布式存储引擎（HDFS分布式文件系统、Hive数仓管理、HBase存储服务、Kafka消息队列、MinIO对象存储管理、Redis内存数据库管理、ES多集群管理等）、分布式计算引擎(Yarn计算资源管理、Hue离线开发、Flink实时开发、Clickhouse列式数据库开发、联邦查询等）、分布式分析引擎（Kylin多维分析、Spark MLib机器学习、OrientDB多模数据分析、Kibana数据可视化）、任务调度（DolphinScheduler）、数据安全（FreeIPA/LDAP/用户管理/租户管理/项目管理、Kerberos票据下载、Ranger访问管理）和部署运维（Ambari集群管理、Prometheus监控告警、LogSearch日志中心、Nginx反向代理）等多个功能模块。SDP可满足不同规模和业务需求下的湖仓一体和流批计算的大数据处理和分析需求。
主要功能
简易操作和管理
支持产品便捷部署、组件一键升级和图形化运维，并提供了异常告警和可视化健康监测功能，帮助用户简化运维过程。
多渠道数据集成
支持结构化、半结构化、非结构化的异构数据秒级实时接入；主流关系数据库高效导入，支持文本类日志数据离线导入。
海量数据存储
支持分布式文件、NoSQL从GB到PB量级的存储解决方案。高可扩展设计，存储系统可动态随数据量增加从G到P级的动态扩容，支持系统不停机动态扩容、负载均衡等。
一站式数据开发
提供贯穿数据全流程的数据开发平台，集数据集成、存储、处理、分析、探索、挖掘、监控到数据可视化一体化能力，实现闭环的数据业务开发全流程。
计算性能优异
集成交互式SQL、实时内存计算、流式计算、全文检索等技术，实现多数据源、多数据场景及多数据模型的联合计算平台，比传统型数据仓库和开源版分布式架构计算效率提升10倍以上。
平台灵活应用
外部链接标准化快速接入平台，实现系统功能线性扩展，可按实际情况申请使用,完成用户打通，最大程序满足业务应用需求。
核心优势
简易运维部署
支持产品便捷部署、组件一键升级和图形化运维，并提供了异常告警和可视化健康监测功能，帮助用户简化运维过程。
多渠道数据集成
支持结构化、半结构化、非结构化的异构数据秒级实时接入；主流关系数据库高效导入，支持文本类日志数据离线导入。
海量数据存储
支持分布式文件、NoSQL从GB到PB量级的存储解决方案。高可扩展设计，存储系统可动态随数据量增加从G到P级的动态扩容，支持系统不停机动态扩容、负载均衡等。
一站式数据开发
提供贯穿数据全流程的数据开发平台，集数据集成、存储、处理、分析、探索、挖掘、监控到数据可视化一体化能力，实现闭环的数据业务开发全流程。
计算性能优异
集成交互式SQL、实时内存计算、流式计算、全文检索等技术，实现多数据源、多数据场景及多数据模型的联合计算平台，比传统型数据仓库和开源版分布式架构计算效率提升10倍以上。
多模数据管理
支持业界主流的多种存储模型管理，包括宽表数据库管理、缓存数据库管理、分析型数据库管理、时序数据库管理、消息队列管理、ES集群管理等在内的多种数据存储模型管理。
平台灵活应用
外部链接标准化快速接入平台，实现系统功能线性扩展，可按实际情况申请使用,完成用户打通，最大程序满足业务应用需求。
应用场景
数据汇聚场景
湖仓建设与数据分析场景
数据搜索分析场景
重点面向政务及企业，海盒大数据平台提供完整的产品解决方案，基于数据的汇聚存储，进行数据开发、处理等操作，满足客户在大数据阶段的不同需要。
面向金融、交通等行业，海盒大数据平台提供数据集成和开发处理，完成数仓、数据湖的建设，搭配丰富的服务组件支持，满足实时的数据分析需求。
面向工业能源等行业，海盒大数据平台通过数据搜索分析，完成海量数据的查询分析，支持日志分析、安全监控、可视化等多种应用场景。
客户案例
通过海盒大数据平台技术，实现实时数据、外部数据和非结构化数据与内部数据的全面整合和快速处理，满足快速、全面的数据需求。通过丰富的数据分析、挖掘算法和展现工具，帮助银行业务部门方便访问数据、深入挖掘数据、科学展现数据，降低使用门槛，实现自助式数据服务。
—招商银行大数据平台
项目基于海盒大数据平台来实现具备对海量数据的处理能力，支持的数据处理方式有：实时、批量、交互式，支持的数据格式有：结构化、半结构化、非结构化。并对50T债权交易历史数据进行分布式加工，将结果写入分布式内存，完成海盒大数据平台与平安领航平台的结合验证。
—平安证券大数据平台
通过搭建统一大数据平台，全面整合多源异构数据，满足“一次汇聚，多次共享”，并构建阳光消费金融应用模型，实现分散数据的快速有效联动，按需提供应用支持。同时，针对大数据平台汇聚的数据资源，提供数据资源目录服务，通过建立数据标准，提升数据质量管理，保障各类基础数据源的有效存储与应用。
—阳光消金大数据服务平台
采用海盒大数据平台技术，为海南省政府建立健全标准规范体系和安全体系，实现一个统一规范、集中部署、安全规范、充分共享的数据处理平台，形成海南省政府独立拥有的大数据信息平台，支撑数据开放及上层大数据应用系统建设，服务政务、行业、社会。
—海南省政务大数据公共服务平台
数字化转型是实现检验认证这一使命的关键，也是该公司发展战略的重要举措。集团通过构建数据平台，以数据为核心生产要素，打通各环节信息，优化业务流程，培育数据文化，激发数据价值，实现数字中检目标。海盒大数据平台弥补了其性能不足、数据内容不完整、数据质量待提升、数据共享不完善、数据价值挖掘不够等问题。同时将继续加强数据治理，完善数据共享机制，提升数据价值挖掘能力，实现“平台中检、智慧中检、生态中检”的战略目标。
—某检验认证集团大数据中心
作为一家领先的医疗健康企业，拥有先进的“一湖三台”数据架构。我们的核心优势在于利用“一湖三台”数据架构通过建设统一标准的数据湖，搭建数据中台、技术中台、开放平台，为多元化应用奠定坚实基础。同时，我们建立了完善的运营保障体系与安全体系，确保数据的安全性与可靠性，为“惠政、惠医、惠企、惠民”的应用提供有力支撑，打造大数据应用生态的坚实基石。
—某医疗健康企业疾控中心项目
为了满足不断增长的业务需求，某汽集团数据中心综合智能化平台需要进行扩容和功能优化。海盒大数据平台采用租户化模式，在云底座基础上构建，为用户提供安全可靠的网络区域和灵活配置的资源。该平台支持统一资源管理、多云管理和自动化调度。两个数据中心通过分布式存储方式进行交互，满足用户对大容量存储的需求。通过这些优化，该集团的智能化平台将变得更强大、灵活、安全，为企业提供高效的数字化转型支持。
—某汽车集团大数据平台项目
通过海盒大数据平台技术，实现实时数据、外部数据和非结构化数据与内部数据的全面整合和快速处理，满足快速、全面的数据需求。通过丰富的数据分析、挖掘算法和展现工具，帮助银行业务部门方便访问数据、深入挖掘数据、科学展现数据，降低使用门槛，实现自助式数据服务。
—招商银行大数据平台