区块链技术博客
www.b2bchain.cn

如何限制Airflow仅一次运行DAG的一个实例? – python程序员分享

本文介绍了如何限制Airflow仅一次运行DAG的一个实例? – python程序员分享,有助于帮助完成毕业设计以及求职,是一篇很好的资料。

对技术面试,学习经验等有一些体会,在此分享。

我希望DAG中的所有任务在下一次运行的第一个任务执行之前全部完成。

我的max_active_runs = 1,但是this仍然会发生。

default_args = { 'depends_on_past': True, 'wait_for_downstream': True, 'max_active_runs': 1, 'start_date': datetime(2018, 03, 04), 'owner': 'tin.nguyen', 'email': ['[email protected]'], 'email_on_failure': True, 'email_on_retry': False, 'retries': 3, 'retry_delay': timedelta(minutes=4) }  dag = DAG('example', default_args=default_args, schedule_interval = schedule_interval) 

(我的所有任务都取决于上一个任务。气流版本为1.8.0)

谢谢

参考方案

我更改为将max_active_runs作为DAG()的参数,而不是放在default_arguments中,并且它起作用了。

感谢SimonD给我的想法,尽管在您的回答中没有直接指出。

我在Angular工作,正在使用Http请求和响应。是否可以在“响应”中发送多个参数。角度文件:this.http.get("api/agent/applicationaware").subscribe((data:any)… python文件:def get(request): … return Response(seriali…

我想从Outlook邮箱的子文件夹中读取邮件。Inbox ├──myfolder 我可以使用account.inbox.all()阅读收件箱,但我想阅读myfolder中的邮件我尝试了此页面folder部分中的内容,但无法正确完成https://pypi.python.org/pypi/exchangelib/ 参考方案 您需要首先掌握Folder的myfo…

我需要计算Lindeman-Merenda-Gold(LMG)分数,以进行回归分析。我发现R语言的relaimpo包下有该文件。不幸的是,我对R没有任何经验。我检查了互联网,但找不到。这个程序包有python端口吗?如果不存在,是否可以通过python使用该包? python参考方案 最近,我遇到了pingouin库。

from concurrent.futures import ThreadPoolExecutor, wait, ALL_COMPLETED def div_zero(x): print('In div_zero') return x / 0 with ThreadPoolExecutor(max_workers=4) as execut…

我正在使用本地节点js脚本来处理字符串。我陷入了将’-‘字符串解析为本地节点js脚本的问题。render.js:#! /usr/bin/env -S node -r esm let argv = require('yargs') .usage('$0 [string]') .argv; console.log(argv…

赞(0) 打赏
部分文章转自网络,侵权联系删除b2bchain区块链学习技术社区 » 如何限制Airflow仅一次运行DAG的一个实例? – python程序员分享
分享到: 更多 (0)

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

b2b链

联系我们联系我们