PiFlow是一个基于分布式计算框架Spark开发的大数据流水线系统。该系统将数据的采集、清洗、计算、存储等各个环节封装成组件，以所见即所得方式进行流水线配置。简单易用，功能强大。它具有如下特性：
- 简单易用：可视化配置流水线，实时监控流水线运行状态，查看日志
- 功能强大：提供100+的数据处理组件， 包括Hadoop 、Spark、MLlib、Hive、Solr、Redis、MemCache、ElasticSearch、JDBC、MongoDB、HTTP、FTP、XML、CSV、JSON等，同时集成了微生物领域的相关算法。
- 扩展性强：支持自定义开发数据处理组件
- 性能优越：基于分布式计算引擎Spark开发
试用地址： ，用户名/密码：admin/admin
安装使用说明详见：
支持的数据处理组件如下：
| 组名 | 组件名 |
| Hive: | SelectHiveQL，PutHiveStreaming，PutHiveQL |
| HDFS | PutHdfs，DeleteHdfs，UnzipFilesOnHDFS，GetHdfs，ListHdfs，SelectFilesByName |
| HTTP | InvokeUrl，GetUrl，UnGZip，PostUrl，LoadZipFromUrl，FileDownHDFS |
| RDF | CsvToNeo4J，RdfToDF |
| Spider | Spider |
| JDBC | JdbcRead，JdbcReadFromOracle，JdbcWrite，JdbcWriteToOracle，SelectImpala |
| Streaming | FlumeStream，KafkaStream，SocketTextStreamByWindow，SocketTextStream，TextFileStream |
| MongoDB | GetMongo，PutMongo |
| CSV | FolderCsvParser，CsvSave，CsvParser，CsvStringParser |
| File | PutFile，FetchFile，RegexTextProcess |
| Script | ShellExecutor，DataFrameRowParser |
| Common | Distinct，ConvertSchema，Fork，SelectField，Join，DoFlatMapStop，ExecuteSQLStop，Merge，DoMapStop，Subtract |
| Data Clean | IdentityNumberClean，PhoneNumberClean，EmailClean，TitleClean |
| Message Queue | WriteToKafka，ReadFromKafka |
| Microorganism | Ensembl_gff3Parser，GeneParser，RefseqParser，GoDataParse，PfamDataParser，GoldDataParse，Swissprot_TrEMBLDataParser，EmblParser，PDBParser，GenBankParse，TaxonomyParse，BioProjetDataParse，BioSampleParse，InterprodataParse，MicrobeGenomeDataParser |
| MemCache | ComplementByMemcache，PutMemcache，GetMemcache |
| Machine Learning | cGaussianMixtureTraining，LogisticRegressionTraining，RandomForestTraining，DecisionTreePrediction，RandomForestPrediction，BisectingKMeansPrediction，LDAPrediction，MultilayerPerceptronTraining，GBTTraining，BisectingKMeansTraining，MultilayerPerceptronPrediction，GBTPrediction，KmeansTraining，NaiveBayesPrediction，DecisionTreeTraining，LDATraining， WordToVec ，LogisticRegressionPrediction，KmeansPrediction，NaiveBayesTraining，GaussianMixturePrediction |
| ElasticSearch: | PutEs，QueryEs，FetchEs |
| Redis: | WriteToRedis，ReadFromRedis |
| XML | XmlParser，XmlStringParser，FlattenXmlParser，XmlSave，FolderXmlParser |
| FTP | UploadToFtp，LoadFromFtpToHDFS |
| Excel | ExcelParser |
| Solr | PutIntoSolr，GetFromSolr |
| JSON | JsonStringParser，MultiFolderJsonParser，FolderJsonParser，JsonSave，JsonParser，EvaluateJsonPath， |
| GraphX | LoadGraph，LabelPropagation |