PiFlow大数据流水线系统v0.9源码

▼

简述：

PiFlow是一个简单易用，功能强大的大数据流水线系统。包含丰富的处理器组件，提供Shell、DSL、Web配置界面、任务调度、任务监控等功能h _ % | n *。

特性：

1、简单易用

可视化配置流水线。

监控流水线。

查看流水线日志。

检查点功能。

2、扩展性强：

支持自定义开发数据处理组件。

3、性能优越6 U F B # @ ]：

基于分布式计: U t $ + I算引擎Spark开发。

4、功能强大：

提供100+的数据处理组件。

包括Hadoop 、Spark、MLlib、Hive、Solr、Redi^ B V c A } 6s、MemCache、ElasticSearch、JDBC、MongoDB、HTTP、FTP、XML、CSV、JSON等。

集成了6 q V M ~ K微生物领域的相关算法。

环境要求：

JDK 1.8

Spark-2H # 3 E v E t d /.11.8

ApacJ 1 / , 5 m !he Maven 3.1.0

Spark-2.1.0 及以上版本

Hadoop-2.6.0

图片：

▼

   特别声明    本页内容仅供参考，若有侵权，请联系我们删除。