流处置器是一个用来处置无限数据流的工具。它的作用是在数据流被存录之前对数据流举行处置,以便获得简化的信息结果。与传统批处置方式差异,流处置器可以在实时的情形下举行处置,对于对实时性要求较高的系统而言异常有用。它在大数据剖析中的应用逐渐受到瞩目,虽然现在在海内生长还相对缓慢。
在大数据剖析中,流处置器可以辅助天生准实时数据仪表板,也可以辅助在大数据剖析中加速处置速率,实时监控反馈。流处置器应用在大数据情形下,还可以举行庞大事宜处置,例如跟踪物联网的感测数据,天生实时报警和剖析;也可以监测网站的流动,实时调整资源和预防黑客攻击。
因此,流处置器成为了现在互联网业界高度关注的一个手艺。现在主流的流处置器产物包罗Apache Kafka、Apache Storm和Spark Streaming等。流处置器手艺生长异常迅猛,在未来,它还将会在深度学习中获得普遍应用。