Spark工作流程是怎樣的呢-創新互聯

本篇文章給大家分享的是有關Spark工作流程是怎樣的呢，小編覺得挺實用的，因此分享給大家學習，希望大家閱讀完這篇文章后可以有所收獲，話不多說，跟著小編一起來看看吧。

成都創新互聯專注于會寧企業網站建設,成都響應式網站建設公司,商城開發。會寧網站建設公司,為會寧等地區提供建站服務。全流程按需設計網站，專業設計，全程項目跟蹤，成都創新互聯專業和態度為您提供的服務

一、Spark架構組成圖：

Spark工作流程是怎樣的呢

The following table summarizes terms you’ll see used to refer to cluster concepts:

Term	Meaning
Application	基于Spark的用戶程序(創建了一個SparkContext).由一個driver 進程和N個executor 進程on the cluster模式下.
Application jar	Spark包含的jar包
Driver program	一個Driver進程運行 main()方法,創建一個SparkContext
Cluster manager	提交集群(--master local/standalone/on yarn)模式下的資源管理(提交設置code memory....)
Deploy mode	區分Driver進程在什么地方cluster or client,主要區別是Driver在本地還是集群的Container里
Worker node	運行Spark代碼的應用程序的節點(standalone模式概念),在(on yarn)模式下是NodeManager
Executor	一個Executor進程,運行在Container里,能夠運行我們Task,保存數據到內存里或者磁盤上，每一個應用程序有自己獨立的Executor
Task	最小的工作單元,Driver發送代碼到Executor然后Task執行
Job	每一個Action就會產生job(map,conllect)
Stage	每個Job被拆成Task集合,遇到shuffle會stage+1

以上就是Spark工作流程是怎樣的呢，小編相信有部分知識點可能是我們日常工作會見到或用到的。希望你能通過這篇文章學到更多知識。更多詳情敬請關注創新互聯-成都網站建設公司行業資訊頻道。

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：[email protected]。內容未經允許不得轉載，或轉載時需注明來源：創新互聯

猜你還喜歡下面的內容

中文字幕第五页-中文字幕第页-中文字幕韩国-中文字幕最新-国产尤物二区三区在线观看-国产尤物福利视频一区二区