Apache DolphinScheduler 迎来 2 位 PPMC

0 0

–>

经过 Apache DolphinScheduler PPMC 们的推荐和投票，我们高兴的宣布：Apache DolphinScheduler 迎来了 2 位 PPMC 。他们是(github id)：Tboy 和 khadgarmage。对于成为 PPMC ，两位小伙伴说道：

Tboy：

社区在 dev 邮件列表通知被选为 PPMC 时，非常的激动。从19年10月参与 ds，到19年12月选为 committer，到20年4月选为ppmc，每一天都在为荣誉奋斗。

PPMC 不是开源的终点，而是一个全新的起点。后续，在开源的路上，我会更加的努力，更多的学习 Apache way 。也希望 ds 快速发展，早日成为*项目。

khadgarmage：

非常荣幸能成为DolphinScheduler的PPMC，我会继续努力，为我们DolphinScheduler 添砖加瓦，使其更加稳定、易用，尽快毕业~~

Apache DolphinScheduler 是一个非常多样化的社区，至今贡献者已超过 70 名，他们分别来自 30 多家不同的公司。

Apache DolphinScheduler 是什么

Apache DolphinScheduler 是一个分布式去中心化，易扩展的可视化 DAG 工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。

Apache DolphinScheduler 使用的公司

已经有大量知名企业和科研机构在使用 Apache DolphinScheduler，来处理各类调度和定时任务：

Apache DolphinScheduler 社区情况

Apache DolphinScheduler 1.3.0 新特性

Worker实现重构，提升Worker性能
- Master和Worker引入Netty通信
- 去zookeeper任务队列
- Worker节点的三种选择：随机、循环和CPU和内存的线性加权负载平衡
- Worker去数据库操作
资源中心支持多目录
添加 if/else 条件任务
添加 sqoop/datax 任务
支持 windows 开发和部署
支持 k8s 部署
支持 ambari 插件安装
代码优化
大幅简化配置项，简化部署

Apache DolphinScheduler Roadmap

总体依照社区需求和关注度来安排功能优先

master 重构：建立 api 和 master 通信等
任务结果参数传递
任务类型插件化Plugin
工作流触发
列表依赖
权限重新设计
支持多集群任务调度
测试集群和正式集群
工作流版本管理
Easy to use

Apache DolphinScheduler 设计特点:

以DAG图的方式将Task按照任务的依赖关系关联起来，可实时可视化监控任务的运行状态
支持丰富的任务类型：Shell、MR、Spark、Flink、SQL(mysql、postgresql、hive、sparksql)、Python、Http、Sub_Process、Procedure等
支持工作流定时调度、依赖调度、手动调度、手动暂停/停止/恢复，同时支持失败重试/告警、从指定节点恢复失败、Kill任务等操作
支持工作流优先级、任务优先级及任务的故障转移及任务超时告警/失败
支持工作流全局参数及节点自定义参数设置
支持资源文件的在线上传/下载，管理等，支持在线文件创建、编辑
支持任务日志在线查看及滚动、在线下载日志等
实现集群HA，通过Zookeeper实现Master集群和Worker集群去中心化
支持对Master/Worker cpu load，memory，cpu在线查看
支持工作流运行历史树形/甘特图展示、支持任务状态统计、流程状态统计
支持补数
支持多租户
支持国际化