| |
Hadoop開發實踐與性能調優課程
|
| |
 班級規模及環境--熱線:4008699035 手機:15921673576/13918613812( 微信同號) |
| 為了保證培訓效果，增加互動環節，我們堅持小班授部份，每期報名人數限3到5人，多余人員安排到下一期進行。 |
| 上間和地點 |
上部份地點：【上海】同濟大學(滬西)/新城金郡商務樓(11號線白銀路站)【深圳分部】：電影大廈(地鐵一號線大劇院站)/深圳大學成教院【北京分部】：北京中山/福鑫大樓【南京分部】：金港大廈(和燕路)【武漢分部】：佳源大廈（高新二路）【成都分部】：領館區1號（中和大道）【沈陽分部】：沈陽理工大學/六宅臻品【鄭州分部】：鄭州大學/錦華大廈【石家莊分部】：河北科技大學/瑞景大廈
近開間(周末班/連續班/晚班）：2025年12月29日..學用相長,注重實踐....以質量求發展....合作共贏....實用實戰....用心服務......--即將開課--........................(歡迎您垂詢，視教育質量為生命！) |
| 實驗設備 |
◆：共5天,30學時
☆注重質量☆邊講邊練
☆合格學員免費推薦工作
★實驗設備請點擊這兒查看★ |
| 質量保障 |
1、培訓過程中，如有部分內容理解不透或消化不好，可免費在以后培訓班中重聽；
2、課程完成后,授課老師留給學員手機和Email,保障培訓效果,免費提供半年的技術支持。
3、培訓合格學員可享受免費推薦就業機會。☆合格學員免費頒發相關工程師等資格證書，提升職業資質。專注高端技術培訓15年，曙海學員的能力得到大家的認同，受到用人單位的廣泛贊譽，曙海的證書受到廣泛認可。 |
部份程大綱 |
| |
- 培訓特色
系統的講解Hadoop及主要周邊生態的基本原理，安裝，部署，維護及開發。偏重于部署維護方向，中間會對Linux，網絡，服務器硬件Raid等進行系統的學習和了解。力求讓學員全方位掌握Hadoop及相關的其他知識。了解Hadoop各生態的特點和應用場景。
- 目標收益
可獨立完成Hadoop的部署，運維，監控及故障處理。獨立完成整體Hadoop從網絡到軟件層面的架構設計，Hadoop及周邊生態的性能優化。
- 培訓對象
- 開始對Hadoop感興趣或已使用Hadoop，希望進行性能調優或架構優化。
- 學員基礎
- 需具備基本Linux操作系統安裝及常規命令行操作知識。
- 課程大綱
- 主題 內容
Hadoop在云計算技術的作用和地位
- 傳統大規模數據分析存在的問題
Hadoop概述
Hadoop與分布式文件系統
MapReduce的工作原理與機制
Hadoop集群剖析
Hadoop生態系統
Hadoop的行業應用案例分析
Hadoop在云計算和大數據的位置和關系
案例演示：阿里集團技術平臺，Hadoop在淘寶、支付寶的作用
電商眼中的Hadoop和推薦系統。
暴風數據平臺：Hadoop對于產品優化的價值。
Hadoop對于趣游、熱酷等游戲公司的作用
移動大云項目(big cloud)中的Hadoop
聯通使用Hadoop/Hbase解決3G詳單查詢問題。
- Hadoop參數調優
- 選擇適合hadoop的硬件配置
Hadoop配置項優化
Hadoop配置優化 - core-site.xml
Hadoop配置優化 - HDFS
Hadoop配置優化 - hdfs-site.xml
Hadoop配置優化 - mapred-site.xml
Hadoop配置優化 - 機架感知
網絡帶寬參數調優
系統參數調優
配置文件管理
嚴格控制root權限
Java的GC模式
選擇正確的JDK
hadoop作業調優
Map side tuning設置
Map side設置
Linux操作系統優化
其他配置和參數調優
core-default.xml，
hdfs-default.xml，
mapred-default.xml。
mapred-site.xml
mapred.tasktracker.map.tasks.maximum
mapred.reduce.slowstart.completed.maps
mapred.fairscheduler.preemption
mapred.jobtracker.completeuserjobs.maximum
mapred.jobtracker.update.faulty.tracker.interval
mapred.jobtracker.max.blacklist.percent
案例演示：Hadoop硬件優化
不是所有的硬件都合適拿來直接使用
安裝調優的第一步服務器硬件的選型的竅門
如何選擇適合業務使用的CPU
內存越大越好嗎？設置合理的的內存配置
連接網絡的選擇和優化
高速硬盤的選擇注意事項
硬盤為什么不做raid？
設置網絡的注意事項
中間結果壓縮對磁盤和網絡的優化
機架感知，網絡和磁盤IO優化作用，確定存儲的具體位置，
內存參數，map/reduce槽位數的計算方法。
對磁盤和網絡的優化
Java工具使用，jstack使用
Sun和open之間的區別，JIT編譯器的使用
inux系統參數調優
Linux監控系統的使用
cacti,
ganglia
常用的linux排錯工具lsof,strace,iostat,vmstat,netstat...
常見異常現象級處理方法
網卡流量導致連接失敗
權限錯誤
主機名IP轉換錯誤
NN與DN namespaceID不一致
磁盤滿導致報錯
Jave heap size OOM
- 精彩案例及故障解決方法解析
- 案例一：namenode被重新格式化，datanode無法連接
現象：namenode 中的namespaceID與datanode中的namespaceID不一致
案例二：硬盤損壞
現象：磁盤損壞導致datanode宕機
案例三：錯誤用戶啟動hadoop
現象：datanode啟動一段時間后宕機
案例四：tasktracker重啟后假死
現象：無報錯，但tasktracker不工作。
案例五：jobtracker無故宕機
現象：運行過程中jobtracker宕機
案例六：datanode無法注冊到namenode
現象：datanode啟動后到MBean這步掛起不再繼續。
案例七：tasktracker無法啟動，報權限錯誤
現象：tasktracker報文件夾創建的權限錯誤后直接退出。
案例八：主機名設置錯誤
現象：datanode 和tasktracker無法正常工作
- Hadoop組件詳解
- Hadoop HDFS 基本結構
Hadoop HDFS 副本存放策略
Hadoop NameNode 詳解
Hadoop SecondaryNameNode 詳解
Hadoop DataNode 詳解
Hadoop JobTracker 詳解
Hadoop TaskTracker 詳解
案例演示：Hadoop Mapper類核心代碼
Hadoop Reduce類核心代碼
Hadoop 核心代碼
- Hadoop安裝和部署
- Hadoop系統模塊組件概述
Hadoop試驗集群的部署結構
Hadoop 安裝依賴關系
Hadoop 生產環境的部署結構
Hadoop集群部署
Hadoop 高可用配置方法
Hadoop 集群簡單測試方法
Hadoop 集群異常Debug方法
案例演示：Hadoop安裝部署實驗
Red hat Linux基礎環境搭建
Hadoop 單機系統版本安裝配置
Hadoop 集群系統版本安裝和啟動配置
使用 Hadoop MapReduce Streaming 快速測試系統
Hadoopcore-site，hdfs-site，mapred-site 配置詳解
- Hadoop和傳統數據庫技術優劣勢對比
- Hadoop/Hive 對比 Oracle 在構建數據倉庫上的優劣勢
Hadoop 如何和傳統IT系統配合完成原來不可能的任務
案例演示：Apache社區版本：Cloudera 版本、MapR版本、Intel版本、Oracle、Dell、HP版本
- 編寫MapReduce高級程序
- 使用 Hadoop MapReduce Streaming 編程
MapReduce流程
剖析一個MapReduce程序
基本MapReduceAPI 概念
驅動代碼 Mapper、Reducer
Hadoop流
API 使用Eclipse進行快速開發
新MapReduce API
MapReduce的優化
MapReduce的任務調度
MapReduce編程實戰
如何利用其他Hadoop相關技術，包括Apache Hive， Apache Pig，Sqoop和Oozie等
滿足解決實際數據分析問題的高級Hadoop API
案例演示：Hadoop Streaming 和 Java MapReduce Api 差異。
MapReduce 實現數據庫功能
利用Combiners來減少中間數據
編寫Partitioner來優化負載平衡
直接訪問Hadoop分布式文件系統（HDFS）
Hadoop的join操作
輔助排序在Reducer方的合并
定制Writables和WritableComparables
使用SequenceFiles和Avro文件保存二進制數據
創建InputFormats OutputFormats
Hadoop的二次排序
Hadoop的海量日志分析
在Map方的合并
- 精彩案例及故障解決方法解析
- 案例一：控制map & reduce個數
現象：map個數取決于split個數，如果源文件使用壓縮存儲，則不可分割，一個文件一個map。非壓縮文件使用默認block.size進行切分。對reduce因為是中間數據，可以控制reduce數量。
案例二：壓縮中間數據
現象：job中間臨時數據量級大、網絡IO吞吐量大。
案例三：編程細節，內存溢出
現象：編程過程中，經常遇到list、map、倒排表等大對象，如果作為局部變量，每次調用map或者reduce方法都初始化這些變量，很容易消耗掉JVM堆內存，出現內存溢出異常。
案例四：編程細節，計數&日志打印
現象： System.out.println, System.err.println等日志打印過多會嚴重影響job性能，counter計數也會存在同樣的問題，同時也會造成本地磁盤使用量的急劇增長。
案例五： 作業調度
現象：集群上的job非常多時，會出現一些job一直等待，很長一段時間內沒有開始運行。默認的任務調度器FIFO并不能滿足實際工作應用。
案例六：Combiner優化
現象： map輸出數據量非常大，reduce input group遠小于reduce input group時，存在大量的網絡IO，這些IO中的一部分數據可以在本地做完合并，然后再進行reduce操作。
- 使用Hive和Pig開發及技巧
- Hive和Pig基礎
Hive的作用和原理說明
Hadoop倉庫和傳統數據倉庫的協作關系
Hadoop/Hive倉庫數據數據流
Hive 部署和安裝
Hive Cli 的基本用法
HQL基本語法
使用Oozie的動機
Oozie工作流定義格式
案例演示：使用JDBC 連接Hive進行查詢和分析
使用正則表達式加載數據
HQL高級語法
編寫UDF函數
編寫UDAF自定義函數
使用Sqoop進行數據分析
使用oozie配置工作流
phpHiveAdmin 安裝和使用
|
|
|
|
|
|
 * |
| |
本部份程部分實驗室實景 |
|
|
|
|
|
|
 合作伙伴與授權機構 |
 Altera全球合作培訓機構 |
 諾基亞Symbian公司授權培訓中心 |
 Atmel公司全球戰略合作伙伴 |
 微軟全球嵌入式培訓合作伙伴 |
 英國ARM公司授權培訓中心 |
 ARM工具關鍵合作單位 |
|
|
|
| 我們培訓過的企業客戶評價： |
曙海的andriod系統與應用培訓完全符合了我公司的要求，達到了我公司培訓的目的。特別值得一提的是授部份講師針對我們公司的開發的項目專門提供了一些很好程序的源代碼，基本滿足了我們的項目要求。
——上海貝爾，李工
曙海培訓DSP2000的老師，上部份思路清晰，口齒清楚，由淺入深，重點突出，培訓效果是不錯的，
達到了我們想要的效果，希望繼續合作下去。
——中國電子科技集團技術部主任馬工
曙海的FPGA培訓很好地填補了高校FPGA培訓空白，不錯。總之，有利于學生的發展，有利于教師的發展，有利于部份程的發展，有利于社會的發展。
——上海電子，馮老師
曙海給我們公司提供的Dsp6000培訓，符合我們項目的開發要求，解決了很多困惑我們很久的問題，與曙海的合作非常愉快。
——公安部第三研究所，項目部負責人李先生
MTK培訓-我在網上找了很久，就是找不到。在曙海居然有MTK驅動的培訓，老師經驗很豐富，知識面很廣。下一個還想培訓IPHONE蘋果手機。跟他們合作很愉快，老師很有人情味，態度很和藹。
——臺灣雙揚科技，研發處經理，楊先生
曙海對我們公司的iPhone培訓，實驗項目很多，確實學到了東西。受益無窮啊！特別是對于那種正在開發項目的，確實是物超所值。
——臺灣歐澤科技,張工
通過參加Symbian培訓，再做Symbian相關的項目感覺更加得心應手了，理論加實踐的授部份方式，很有針對性，非常的適合我們。學完之后，很輕松的就完成了我們的項目。
——IBM公司，沈經理
有曙海這樣的DSP開發培訓單位，是教育行業的財富，聽了他們的部份，茅塞頓開。
——上海醫療器械高等學校，羅老師
|
| 我們新培訓過的企業客戶以及培訓的主要內容： |
| |
一汽海馬汽車DSP培訓
蘇州金屬研究院DSP培訓
南京南瑞集團技術FPGA培訓
西安愛生技術集團FPGA培訓，DSP培訓
成都熊谷加世電氣DSP培訓
福斯賽諾分析儀器（蘇州）FPGA培訓
南京國電工程FPGA培訓
北京環境特性研究所達芬奇培訓
中國科微系統與信息技術研究所FPGA高級培訓
重慶網視只能流技術開發達芬奇培訓
無錫力芯微電子股份IC電磁兼容
河北科研究所FPGA培訓
上海微小衛星工程中心DSP培訓
廣州航天航空POWERPC培訓
桂林航天工DSP培訓
江蘇五維電子科技達芬奇培訓
無錫步進電機自動控制技術DSP培訓
江門市安利電源工程DSP培訓
長江力偉股份CADENCE培訓
愛普生科技（無錫）數字模擬電路
河南平高電氣DSP培訓
中國航天員科研訓練中心A/D仿真
常州易控汽車電子WINDOWS驅動培訓
南通大學DSP培訓
上海集成電路研發中心達芬奇培訓
北京瑞志合眾科技WINDOWS驅動培訓
江蘇金智科技股份FPGA高級培訓
中國重工第710研究所FPGA高級培訓
蕪湖伯特利汽車安全系統DSP培訓
廈門中智能軟件技術Android培訓
上海科慢車輛部件系統EMC培訓
中國電子科技集團第五十研究所，軟件無線電培訓
蘇州浩克系統科技FPGA培訓
上海申達自動防范系統FPGA培訓
四川長虹佳華信息MTK培訓
公安部第三研究所--FPGA初中高技術開發培訓以及DSP達芬奇芯片視頻、圖像處理技術培訓
上海電子信息職業技術--FPGA高級開發技術培訓
上海點逸網絡科技有限公司--3G手機ANDROID應用和系統開發技術培訓
格科微電子有限公司--MTK應用（MMI）和驅動開發技術培訓
南昌航空大學--fpga高級開發技術培訓
IBM公司--3G手機ANDROID系統和應用技術開發培訓
上海貝爾--3G手機ANDROID系統和應用技術開發培訓
中國雙飛--Vxworks應用和BSP開發技術培訓
|
上海水務建設工程有限公司--Alter/XilinxFPGA應用開發技術培訓
恩法半導體科技--AllegroCandencePCB仿真和信號完整性技術培訓
中國計量--3G手機ANDROID應用和系統開發技術培訓
冠捷科技--FPGA芯片設計技術培訓
芬尼克茲節能設備--FPGA高級技術開發培訓
川奇光電--3G手機ANDROID系統和應用技術開發培訓
東華大學--Dsp6000系統開發技術培訓
上海理工大學--FPGA高級開發技術培訓
同濟大學--Dsp6000圖像/視頻處理技術培訓
上海醫療器械高等專科學校--Dsp6000圖像/視頻處理技術培訓
中航工業無線電電子研究所--Vxworks應用和BSP開發技術培訓
北京交通大學--Powerpc開發技術培訓
浙江理工大學--Dsp6000圖像/視頻處理技術培訓
臺灣雙陽科技股份有限公司--MTK應用（MMI）和驅動開發技術培訓
滾石移動--MTK應用（MMI）和驅動開發技術培訓
冠捷半導體--Linux系統開發技術培訓
奧波--CortexM3+uC/OS開發技術培訓
迅時通信--WinCE應用與驅動開發技術培訓
海鷹醫療電子系統--DSP6000圖像處理技術培訓
博耀科技--Linux系統開發技術培訓
華路時代信息技術--VxWorksBSP開發技術培訓
臺灣歐澤科技--iPhone開發技術培訓
寶康電子--AllegroCandencePCB仿真和信號完整性技術培訓
上海天能電子有限公司--AllegroCandencePCB仿真和信號完整性技術培訓
上海亨通光電科技有限公司--andriod應用和系統移植技術培訓
上海智搜文化傳播有限公司--Symbian開發培訓
先先信息科技有限公司--brew手機開發技術培訓
鼎捷集團--MTK應用（MMI）和驅動開發技術培訓
傲然科技--MTK應用（MMI）和驅動開發技術培訓
中軟國際--Linux系統開發技術培訓
龍旗控股集團--MTK應用（MMI）和驅動開發技術培訓
研祥智能股份有限公司--MTK應用（MMI）和驅動開發技術培訓
羅氏診斷--Linux應用開發技術培訓
西東控制集團--DSP2000應用技術及DSP2000在光伏并網發電中的應用與開發
科大訊飛--MTK應用（MMI）和驅動開發技術培訓
東北農業大學--IPHONE蘋果應用開發技術培訓
中國電子科技集團--Dsp2000系統和應用開發技術培訓
中國船舶重工集團--Dsp2000系統開發技術培訓
晶方半導體--FPGA初中高技術培訓
肯特智能儀器有限公司--FPGA初中高技術培訓
哈爾濱大學--IPHONE蘋果應用開發技術培訓
昆明電器科學研究所--Dsp2000系統開發技術
奇瑞汽車股份--單片機應用開發技術培訓
|
|
|
|
|
shuhaipeixun
1299983702
總部李老師
