如何通过一个参数的火花提交的工作在气流

0

的问题

我有触发一pyspark模块从气流使用sparksubmit操作员。 但是,pyspark模块需要采取的火花届会议变为一个参数。 我已经使用application_args通过的参数,以pyspark模块。 但是,当我跑dag火花提交操作者越来越失败和参数我通过在认为没有类型的变量。 需要知道如何通过一个参数pyspark模块触发通过spark_submit_operator.

DAG 的代码如下:

from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("PRJT").enableHiveSupport().getOrCreate()

spark_config = {
    'conn_id': 'spark_default',
    'driver_memory': '1g',
    'executor_cores': 1,
    'num_executors': 1,
    'executor_memory': '1g'
}

dag = DAG(
    dag_id="spark_session_prgm",
    default_args=default_args,
    schedule_interval='@daily',
    catchup=False)

spark_submit_task1 = SparkSubmitOperator(
    task_id='spark_submit_task1',
    application='/home/airflow_home/dags/tmp_spark_1.py',
    application_args=['spark'],
    **spark_config, dag=dag)

这样的代码中tmp_spark_1.py 程序:

airflow pyspark
2021-11-24 06:48:20
1
0

后一点的调试,我找到了解决我的问题。

argparse 的原因是,为什么它不工作。 相反,我用的 syssys.argv[1] 和它做的工作。

2021-12-02 13:07:10

请使用的答案只有以后的解决方案。 不要问问题。
Dharman

其他语言

此页面有其他语言版本

Русский
..................................................................................................................
Italiano
..................................................................................................................
Polski
..................................................................................................................
Română
..................................................................................................................
한국어
..................................................................................................................
हिन्दी
..................................................................................................................
Français
..................................................................................................................
Türk
..................................................................................................................
Česk
..................................................................................................................
Português
..................................................................................................................
ไทย
..................................................................................................................
Español
..................................................................................................................
Slovenský
..................................................................................................................