概述
什么是流处理?
云era 流处理 (CSP)通过为复杂模式分析流数据并获得可操作的信息，使客户能够将流转化为数据产品.
CSP由Apache Flink和Kafka支持，并提供了一个完整的, 企业级流程管理和有状态处理解决方案. 组合卡夫卡作为存储流基板, Flink作为核心的流内处理引擎, 以及对行业标准接口(如SQL和REST)的一流支持，允许开发人员进行开发, 数据分析师, 数据科学家可以轻松构建混合流数据管道，为实时数据产品提供动力, 指示板, 商业智能应用, micro服务, 数据科学笔记本.
用例，如欺诈检测, 网络威胁分析, 制造业的情报, 商业优化, 实时提供, 瞬时贷款审批, 现在，通过将数据处理组件向上移动，就可以实现更多的实时需求.
混合流数据管道供电
通过cloudera流处理
用例
欺诈检测
客户分析
市场监测
日志分析
功能
-
由Apache Flink支持的流分析
-
由Apache Kafka支持的流消息
流分析
由Apache Flink和SQL Stream Builder提供支持，云era 流分析提供:
- 低延迟流处理能力
- 通过允许用户通过REST端点使用行业标准SQL和api编写流应用程序，从而简化开发
- 用于构建复杂事件驱动分析的高级窗口技术
- 支持多云和混合云模型
SQL流生成器(SSB)是一个全面的交互式用户界面，用于使用SQL创建有状态流处理作业，并将其转换为优化的Flink作业. 通过使用SQL, 您可以简单而轻松地声明用于过滤的表达式, 总, 路线, 或者改变数据流. SSB是一个作业管理接口，您可以使用它在流上组合和运行SQL，以及为结果创建持久的数据api.
确保数据在任何时候都只处理一次，即使在出现错误和重试期间也是如此. 例如, 当消费者支付住房抵押贷款时，金融服务公司需要使用流处理来协调数百个后台交易系统.
检测和处理发生故障的流事件. 例如, 实时欺诈服务需要确保数据按正确的顺序处理，即使数据到达较晚.
实现内存中，一次一次的流处理性能. 例如, 处理3000万活跃用户的信用卡支付请求, 转移, 并以毫秒延迟平衡查找.
在处理数百个流源和每秒处理数百万个事件时触发事件. 例如, 当病人入住急诊室时, 该系统与外部系统连接，从数百个来源提取患者特定的数据，这样当患者到达检查室时，就可以在EMR中使用这些数据.
除非流媒体数据能够很容易地集成，否则它几乎没有什么价值, 加入, 并将这些流与其他静止的数据源(包括仓库)啮合, 关系数据库, 和数据的湖泊. 使用开箱即用连接器或您自己的连接任何数据源的连接器配置数据提供程序. 一旦创建了数据提供程序，用户就可以使用DDL轻松地创建虚拟表. 使用众所周知的SQL构造(如连接和聚合)，多个流和批处理数据源之间的复杂集成变得更加容易.
流信息
在Apache Kafka的支持下，云era 流信息提供:
- 流消息管理器监控/操作集群
- 用于HA/DR部署的流复制管理器
- 模式注册表，用于集中式模式管理
- Kafka连接简单的数据移动和更改数据捕获和巡航控制智能再平衡和自愈合
- 支持多云和混合云模型
支持每秒数百万条消息，具有低延迟和高吞吐量, 弹性地、透明地伸缩，没有停机时间. 解决广泛的流数据倡议, 使企业跟上客户需求, 提供更好的服务, 主动管理风险.
流信息 Manager提供了一个单一的玻璃视图，端到端可见数据如何在Kafka集群之间移动——在生产者之间, 经纪人, 主题, 以及消费者——允许您跟踪从边缘到云端的数据沿袭和治理. 它还通过智能过滤和排序简化了Kafka环境的故障排除.
流复制经理, 基于Mirrormaker 2, 提供容错, 可伸缩的, 以及健壮的跨集群Kafka主题复制, 以及集群和主题级别的复制监视和指标. 提供高可用性、灾难恢复、云迁移、地理邻近等.
架构注册表允许您进行管理, 分享, 并在一个共享的模式存储库中支持所有生产者和客户模式的发展，允许应用程序跨Kafka景观灵活地相互交互. 安全缓解由于模式不匹配而发生的中断.
Cruise Control让你管理和负载平衡大型Kafka安装, 以及自动检测和纠正异常. 解决硬件/虚拟机频繁故障等难题, 集群扩张/减少, 还有经纪人之间的负载倾斜.
云era有关 跨所有组件提供集中的安全性、控制策略、治理和数据沿袭. 它们只设置一次，并自动强制执行，且与供应商无关, 允许您自信地采用多云和混合云策略. 支持安全性的四个主要支柱:身份、访问、数据保护和可见性.
云中的流处理
完全安全的消除云配置和基础设施设置的复杂性, 治理, 弹性集群, 在AWS上不到10分钟就启动了, Azure, 和质量.
数据中心的流分析
数据中心的流分析在公共云中旋转Apache Flink和SQL Stream Builder, 通过SQL或应用程序代码将实时数据流处理引入混合云环境.
数据集线器的流消息
stream Messaging for 数据中心通过在公共云中旋转Kafka集群，以一套全面的企业管理能力解决模式治理，扩展了你的本地Apache Kafka投资, 监控, 灾难恢复, 聪明的再平衡, 以及健壮的访问控制和审计.
进行流处理产品之旅
