1.64 MB
详情
PiFlow(大数据流水线系统) V0.9 官方版
软件类型：办公管理
软件大小：301.98 MB
更新时间：2023-06-24
软件评级：
运行环境：WinAll
软件语言：简体中文
安全监测：
无插件
360 √
腾讯 √
金山 √
瑞星 √
无插件
360 √
腾讯 √
金山 √
瑞星 √
软件介绍
下载地址
其他版本
PiFlow是一款非常强大的大数据流水线系统，混合型科学大数据流水线系统，这款系统将数据采集、储存的等环节封装成组件，软件简单使用容易，提供100+的数据处理组件，如果有需要朋友的可以来本站下载试试。
软件特色
简单易用。
可视化配置流水线。
监控流水线。
查看流水线日志。
检查点功能。
扩展性强：
支持自定义开发数据处理组件。
性能优越：
基于分布式计算引擎Spark开发。
功能强大：
提供100+的数据处理组件。
包括Hadoop 、Spark、MLlib、Hive、Solr、Redis、MemCache、ElasticSearch、JDBC、MongoDB、HTTP、FTP、XML、CSV、JSON等。
集成了微生物领域的相关算法。
使用方法
解压piflow-server-v0.9.tar.gz。
tar -zxvf piflow-server-v0.9.tar.gz。
编辑配置文件config.properties。
运行、停止、重启PiFlow Server。
start.sh、stop.sh、 restart.sh、 status.sh。
测试 PiFlow Server。
设置环境变量 PIFLOW_HOME。
vim /etc/profile。
export PIFLOW_HOME=/yourPiflowPath/bin。
export PATH=PATH:PIFLOW_HOME/bin。
运行如下命令。
piflow flow start example/mockDataFlow.json。
piflow flow stop appID。
piflow flow info appID。
piflow flow log appID。
piflow flowGroup start example/mockDataGroup.json。
piflow flowGroup stop groupId。
piflow flowGroup info groupId。
如何配置config.properties。
#spark and yarn config。
spark.master=yarn。
spark.deploy.mode=cluster。
#hdfs default file system。
fs.defaultFS=hdfs://10.0.86.191:9000。
#yarn resourcemanager.hostname。
yarn.resourcemanager.hostname=10.0.86.191。
#if you want to use hive, set hive metastore uris。
#hive.metastore.uris=thrift://10.0.88.71:9083。
#show data in log, set 0 if you do not want to show data in logs。
data.show=10。
#server port
server.port=8002
#h2db port
h2.port=50002
下载地址
正在读取下载地址...
热门软件
1
2
3
4
5
6
7
8
9
10
Steam V2.20.91.91 官网版
unc0ver(苹果iOS 14.5越狱工具) V6.1.1 汉化版
117.25 MB
详情
Clover（标签工具）V3.5.4.20416 官方安装版
11.20 MB
详情
微信 V3.4.0.54 官方版
155 MB
详情
x64 Components 3.7.0 Final 多国语言安装版
17.3 MB
详情
速骑士u盘装机工具 V2.1 官方版
10.3 MB
详情
Video Duplicate Finder(重复视频查找软件) V2.0.7 绿色中文版
80.95 MB
详情
卸载大师 V2008 绿色版
316 KB
详情
中国烟草网上订货平台 V1.4 最新版
4.06 MB
详情
Office 365专业增强版 V16.0.11929 激活版
11.75 MB
详情
装机必备 更多+
大家都在看
电脑软件专题 更多+