it技術(shù)員會所以高深技術(shù)總結(jié)一下吧。高手參加時提高很大。1：是一個大數(shù)據(jù)倉庫和數(shù)據(jù)管理系統(tǒng)，以提供平臺及其開發(fā)的各種應(yīng)用開發(fā)框架hdfs為核心。在此框架下，所有數(shù)據(jù)都會存儲在類似hdfs中的文件系統(tǒng)里，并且定期（年月日次）進(jìn)行調(diào)度分析。

hdfs可以相當(dāng)于一個小型數(shù)據(jù)庫，所有數(shù)據(jù)可以合并，并且可以按數(shù)據(jù)顆粒度，將數(shù)據(jù)按時間段分組。如redis、solr、、，、db2等，還有物聯(lián)網(wǎng)，互聯(lián)網(wǎng)，生物醫(yī)藥，影像分析這樣的業(yè)務(wù)應(yīng)用，都會用到。分組，顆粒度，按顆粒度分配數(shù)據(jù)，分配數(shù)據(jù)通過分組，再按數(shù)據(jù)集分組，再組合，存儲在顆粒度上一些磁盤，內(nèi)存這樣的計算資源計算資源，通過平臺里的文件系統(tǒng)加載，平臺用來調(diào)度執(zhí)行計算。

為了解決生產(chǎn)環(huán)境計算力不足問題，將一些信息存儲在hdfs上，調(diào)度計算的時候也調(diào)用hdfs上存儲的這些計算資源。2：隨著應(yīng)用規(guī)模的不斷增大，的實際并發(fā)量也跟著大量增長it技術(shù)員，在這個過程中，計算壓力也隨之增大，計算壓力如何管理，應(yīng)該如何管理都需要知道。后面講3：虛擬機(jī)，大量應(yīng)用的運行需要文件系統(tǒng)，讀寫了hdfs和文件系統(tǒng)實時數(shù)據(jù)。

虛擬機(jī)可以管理和復(fù)制hdfs的數(shù)據(jù)，對hdfs和文件系統(tǒng)起管理作用。目前來看，用虛擬機(jī)管理hdfs文件系統(tǒng)實際挺方便的，又有it技術(shù)員，中間數(shù)據(jù)處理不需要，也不需要實時數(shù)據(jù)，所以用虛擬機(jī)管理hdfs，中間數(shù)據(jù)交互使用虛擬機(jī)。4：其他的相關(guān)的設(shè)置問題也要知道，比如在某個數(shù)據(jù)集上結(jié)果存儲時需要幾個虛擬機(jī)，各虛擬機(jī)在什么時候啟動，虛擬機(jī)和各虛擬機(jī)使用場景差異，虛擬機(jī)不能隨時建立連接等。

5：還需要知道hdfs的存儲結(jié)構(gòu)，虛擬機(jī)可以存一些應(yīng)用的數(shù)據(jù)，但是hdfs數(shù)據(jù)很多，比如運行時，數(shù)據(jù)已經(jīng)連接到文件系統(tǒng)，但是把運行時應(yīng)用存在hdfs文件系統(tǒng)不容易。因此，hdfs可以存在文件系統(tǒng)和文件系統(tǒng)里，也可以存在一個獨立的hdfs文件系統(tǒng)里，這里主要區(qū)別是一個是文件系統(tǒng)，一個是文件系統(tǒng)。6：寫入設(shè)備相關(guān)的控制（io相關(guān)和內(nèi)存相關(guān)）和讀取設(shè)備相關(guān)的控制（讀寫設(shè)備相關(guān)）。