限制(n)与展(n)性能差异Pyspark

试图更深入地了解如何火工作，并玩弄pyspark cli(2.4.0). 我一直在寻找之间的差异使用 limit(n).show() 和 show(n). 我最终得到两个非常不同执行时间为两个非常相似的查询。 以下是在命令我跑了。 木文件中引用的代码如下具有约50列，而是超过50gb在大上的远程HDFS。

# Create dataframe
>>> df = sqlContext.read.parquet('hdfs://hdfs.host/path/to.parquet') ↵

# Create test1 dataframe
>>> test1 = df.select('test_col') ↵
>>> test1.schema ↵
StructType(List(StructField(test_col,ArrayType(LongType,true),true)))
>>> test1.explain() ↵
== Physical Plan ==
*(1) Project [test_col#40]
+- *(1) FileScan parquet [test_col#40]
    Batched: false,
    Format: Parquet,
    Location: InMemoryFileIndex[hdfs://hdfs.host/path/to.parquet],
    PartitionCount: 25,
    PartitionFilters: [],
    PushedFilters: [],
    ReadSchema: struct<test_col:array<bigint>>

# Create test2 dataframe
>>> test2 = df.select('test_col').limit(5) ↵
>>> test2.schema ↵
StructType(List(StructField(test_col,ArrayType(LongType,true),true)))
>>> test2.explain() ↵
== Physical Plan ==
CollectLimit 5
+- *(1) Project [test_col#40]
   +- *(1) FileScan parquet [test_col#40]
     Batched: false,
     Format: Parquet,
     Location: InMemoryFileIndex[hdfs://hdfs.host/path/to.parquet],
     PartitionCount: 25,
     PartitionFilters: [],
     PushedFilters: [],
     ReadSchema: struct<test_col:array<bigint>>

注意到物理计划几乎是相同的，两个 test1 和 test2. 唯一的例外是测试2的计划，开始"CollectLimit5"中。 在设定这个了我跑了 test1.show(5) 和 test2.show(5). 测试，1返回的成果瞬间。 测试2显示出的进展吧2010年的任务，花费了大约20分钟完成(我只有一个执行者)

的问题 为什么试验2(有限)的执行使不相比，试验1(不受限制地)? 该数据集，并导致设置是相同的物理计划几乎完全相同。