//
//
//
//
//
//
//
//
//
//
软件Tags:
PiFlow是一个简略易用,功用强大的大数据流水线体系。包含丰厚的处理器组件,供给Shell、DSL、Web装备界面、使命调度、使命监控等功用。
特性:
1、简略易用
可视化装备流水线。
监控流水线。
检查流水线日志。
检查点功用。
2、扩展性强:
支撑自定义开发数据处理组件。
3、性能优越:
根据分布式核算引擎Spark开发。
4、功用强大:
供给100+的数据处理组件。
包含Hadoop 、Spark、MLlib、Hive、Solr、Redis、MemCache、ElasticSearch、JDBC、MongoDB、HTTP、FTP、XML、CSV、JSON等。
集成了微生物范畴的相关算法。
环境要求:
JDK 1.8
Spark-2.11.8
Apache Maven 3.1.0
Spark-2.1.0 及以上版别
Hadoop-2.6.0