python大數(shù)據(jù)處理方向?qū)W習(xí)路線
時(shí)間:2019-06-24 00:00:00
來(lái)源:信盈達(dá)
作者:信盈達(dá)
Python的學(xué)習(xí),知識(shí)涵蓋極為廣泛,對(duì)不同應(yīng)用目標(biāo)的學(xué)習(xí),進(jìn)階的路線有很大的差異。下面分享一下python大數(shù)據(jù)處理方向的學(xué)習(xí)路線,希望對(duì)大家有所幫助。
1、Python基礎(chǔ)學(xué)習(xí)
(1)Python語(yǔ)句
學(xué)習(xí)python的運(yùn)算符和表達(dá)式,聲明語(yǔ)句,基本的輸入輸出語(yǔ)句、注釋語(yǔ)句、流程控制語(yǔ)句
(2)函數(shù)、模塊和包
函數(shù)的定義和使用,模塊的導(dǎo)入,多模塊和包聲明
(3)數(shù)據(jù)結(jié)構(gòu)
元組,列表,字典,集合的抽象與使用
(4)面向?qū)ο?/span>
類定義、對(duì)象的構(gòu)建和實(shí)例化、子類繼承和方法重寫、異常類的使用
(5)正則表達(dá)
字符串匹配和過(guò)濾,數(shù)據(jù)的搜尋和識(shí)別
(6)文件操作
文件和目錄的新建與查找,文件內(nèi)容的讀取與寫入
2、大數(shù)據(jù)進(jìn)階學(xué)習(xí)
(1)Linux系統(tǒng)及網(wǎng)絡(luò)服務(wù)
Linux操作系統(tǒng)命令行環(huán)境,網(wǎng)絡(luò)服務(wù)配置
(2)Hadoop核心組件
MapReduce和HDFSGoogleHadoop的概念,Hive數(shù)據(jù)倉(cāng)庫(kù)操作,HBase存儲(chǔ)設(shè)計(jì),Pig計(jì)算,Sqoop數(shù)據(jù)遷移,Oozie、Azkaban工作流
(3)Spark技術(shù)
Spark大數(shù)據(jù)處理Spark的特點(diǎn)與應(yīng)用場(chǎng)景,PythonSpark程序開發(fā),GraphX架構(gòu)
3、大數(shù)據(jù)高級(jí)學(xué)習(xí)
(1)SparkMLlib與機(jī)器學(xué)習(xí)
機(jī)器學(xué)習(xí)分類及算法,MLlib算法庫(kù)
(2)Storm實(shí)時(shí)開發(fā)框架
Storm的開發(fā)環(huán)境與生產(chǎn)環(huán)境,拓?fù)渑c流分組,spout和bolt類
(3)Storm的輔助框架
Zookeeper分布式服務(wù)框架,storm-starter項(xiàng)目管理,trident實(shí)時(shí)計(jì)算抽象
(4)大數(shù)據(jù)架構(gòu)設(shè)計(jì)
flume數(shù)據(jù)采集+kafka數(shù)據(jù)緩沖接入+storm流式計(jì)算+mysql分析結(jié)果持久化存儲(chǔ)
以上就是python大數(shù)據(jù)處理方向的學(xué)習(xí)路線。