Apache Nifi

一个实时集成的数据物流和简单的事件处理平台

Apache NiFi自动化了不同数据源和系统之间的数据移动, 快速获取数据, 容易和安全.

Apache NiFi做什么

Apache NiFi是一个集成的数据物流平台,用于自动化不同系统之间的数据移动. 它提供了实时控制,使管理数据在任何源和任何目标之间的移动变得很容易. 它是数据源不可知的, 支持不同格式的不同分布式源, 模式, 协议, 速度和大小,如机器, 地理位置的设备, 点击流, 文件, 社会提要, 日志文件和视频等. 它是移动数据的可配置管道, 就像联邦快递, UPS或其他快递公司运送包裹. 就像那些服务一样, Apache NiFi允许您实时跟踪数据, 就像你可以追踪快递一样.

Apache NiFi基于“尼亚加拉文件”(Niagara Files)技术,该技术在过去八年中一直在开发中,并在NSA内部大规模使用,并通过NSA技术转移计划提供给Apache软件基金会. 像这样, 它从一开始就被设计成现场准备的灵活的, 可扩展,适用于各种设备,从小型轻量级网络边缘设备(如树莓派)到企业数据集群和云. Apache NiFi还能够动态调整,以适应可能影响通信和数据交付的波动网络连接.

Nifi概述

虽然这个词 数据流 在不同的语境中使用, k85彩乐园网站将在这里使用它来表示系统之间自动化和管理的信息流. 自从企业拥有不止一个系统以来,这个问题就一直存在, 其中一些系统创建数据,一些系统使用数据. 出现的问题和解决方案模式已经进行了广泛的讨论和阐述. 一种全面和容易消费的形式是在 企业集成模式 (eip). 数据流的一些高级挑战包括:

系统失败

网络故障,磁盘故障,软件崩溃,人们会犯错误.

数据访问超过容量消耗

有时,给定的数据源可能超过处理或交付链的某些部分——只需要一个薄弱环节就会出现问题.

边界条件只是建议

您总是会得到太大的数据, 太小了, 太快了, 太慢了, 腐败的, 错误的, 或者格式错误.

什么是前一天的噪音第二天就变成了信号

一个组织的优先级变化很快. 启用新流程和更改现有流程必须是快速的.

系统以不同的速度进化

给定系统所使用的协议和格式可以随时更改,通常与周围的系统无关. 数据流的存在是为了连接本质上是松散或根本不是为了一起工作而设计的组件的大规模分布式系统.

遵从性和安全性

法律、法规和政策会发生变化. 业务之间的协议发生了变化. 系统到系统和系统到用户的交互必须是安全的、可信的和负责的.

持续改进发生在生产中

通常情况下,在实验室中几乎不可能复制生产环境.

多年来,数据流一直是架构中不可避免的弊病之一. 现在虽然, 有许多活跃和快速发展的运动使得数据流变得更加有趣,对给定企业的成功至关重要. These include things like; Service Oriented Architecture (soa), API的崛起 (api)(api2)、物联网 (物联网)、大数据 (bigdata). 除了, 合规所必需的严格程度, 隐私, 安全系数也在不断上升. 即使有这些新概念的出现, 数据流的模式和需求在很大程度上仍然相同. 主要的区别在于复杂性的范围, 必须适应变化的速度, 在规模上,边缘的情况变得很常见. NiFi旨在帮助解决这些现代数据流挑战.

核心概念

NiFi的基本设计概念与基于流的编程[FBP]的主要思想密切相关。. 以下是一些主要的NiFi概念以及它们如何映射到FBP:

NiFi术语 出口押汇期限 描述
FlowFile 信息包  FlowFile表示在系统中移动的每个对象, NiFi跟踪键/值对属性字符串的映射及其相关的0字节或多个字节的内容.
FlowFile处理器 黑盒  处理器实际执行这项工作. In (eip) 术语处理器正在做一些数据路由的组合, 转换, 或系统间的中介. 处理器可以访问给定FlowFile及其内容流的属性. 处理器可以在给定的工作单元中操作零个或多个flowfile,并提交该工作或回滚.
连接 有界缓冲区 连接提供处理器之间的实际链接. 它们充当队列,允许不同的进程以不同的速率交互. 然后,可以动态地对这些队列进行优先级排序,并且可以在加载时设置上界, 这样就能产生背压.
流量控制器 调度器  流控制器维护进程如何连接和管理所有进程使用的线程和分配线程的知识. 流控制器充当代理,促进处理器之间的流文件交换.
过程组 子网  过程组是一组特定的过程及其连接, 哪些可以通过输入端口接收数据,并通过输出端口发送数据. 通过这种方式,过程组允许通过组合其他组件来创建全新的组件.

您的表单提交失败.

这可能是由以下原因之一造成的:

  • 您的请求超时
  • 一个插件/浏览器扩展阻止了提交. 如果您有广告拦截插件,请禁用它并关闭此消息以重新加载页面.