1樓:高朋滿座
hive跟mpp的記憶體管理方式不大一樣,mpp記憶體管理比較精細,他主要的想法是兆中在每個機器上放個資料庫,傳穗猜者統資料庫的記憶體管理比較複雜,主要是內外存交猜薯互的東西,這樣的架構決定了mpp在小資料量的時候,latency可以做的比較小,但是在大資料量的時候,throughput做不上去。
而hive的記憶體管理非常粗放,他後來就是mapreduce的job,mr的job是沒有太多精細的記憶體管理的,他就是拼了命地scan,完了頂多就是個spill,這樣的架構導致throughput很大,但是latency很高,當你叢集規模很大的時候,你一般會追求很大的throughput,當資料量很大的時候,如果你用mpp那種傳統的記憶體管理的話,大批量的計算反而會慢,而且更加佔資源,所以vertica這種一開始就考慮了列式儲存就是這個道理。
2樓:貝筱六以冬
其實我認為存在即有其迅彎價值畝滑悶,優勢在於用在什麼地方。比如。
組合語言,對於高階開發語言,它很爛吧,讓拿可是在處理底層機器碼,比高階語言就有優勢。
3樓:網友
個人沒有這方面的經驗。但是我覺得吧,傳統的資料庫產生的時代,資料量遠遠沒有現在這麼大。
大量資料存入磁碟,大量資料讀出的時候,自然就慢了。只有多節點協同才能提供高併發性。
mpp不適合pb級(其實有部分mpp號稱支援pb級),是因為它確實處理不了那麼大的資料量,它的擴充套件性只能到百級別,再多節點效能也無法提高了,擴充套件性限制了mpp處理的資料量。
hadoop與傳統的關係型資料庫(如oracle)相比,有什麼優勢及劣勢?
4樓:龍佐天下
hadoop的hdfs支援海量資料量儲存 mapreduce支援對海量資料的分散式處理。
oracle雖然可以搭建叢集 但是當資料量達到一定限度之後查詢處理速度會變得很慢 且對機器效能要求很高。
其實這兩個東西不是同類 hadoop是乙個分散式雲處理架構,傾向於資料計算 而oracle是乙個關係型資料庫,傾向於資料儲存。要說比較可以比較hbase與oracle。
hbase是一種nosql資料庫,列式資料庫,支援海量資料儲存,支援列的擴充套件,但是查詢操作較複雜,不如oracle這類關係型資料庫簡單,且只支援乙個索引,但是hbase在表結構設定合理情況下,查詢速度跟資料量大小沒有太大關係,即資料量的大小不會影響到查詢速度,順便說句hbase查詢速度可以達到ms級。
5樓:網友
hadoop不是資料庫。
如果你是指它所用的hdfs的話,優勢就是支援scale-out形式的擴充套件,能夠適應大量資料的儲存和處理,劣勢是支援的查詢有限,而且不支援事務,主要用於資料的分析,而不能用於oltp類的應用。
hadoop與mpp是什麼關係?有什麼區別和聯絡
6樓:匿名使用者
大講臺hadoop **培訓為你解答:都是分散式並行處理,本質一樣,不同的是應用場景不一樣:1、hadoop是個輕量級的產品,又是開源的,不像dpf那麼複雜,還要購買商業軟體,搭個dpf環境需要費挺大力氣的。
2、hadoop能處理半結構化,非結構化資料。但hadoop要寫map reduce函式,這個比起sql來,方便靈活性差太多了。在處理結構化資料方面,mpp的資料庫效能其實不比hadoop差,只是一提起mpp就會,希望可以幫助到你。
mpp與hadoop是什麼關係
7樓:
nosql,是not only sql,是非關聯式資料庫,不同於oracle等關聯式資料庫。hadoop,是分散式解決方案,即為mapreduce(計算的)和hdfs(檔案系統),使用hadoop和nosql可以構造海量資料解決方案。
檔案的副檔名是什麼,Word檔案的副檔名是什麼
word文件的字尾有好復幾個,一制般我們使用最多的是兩種字尾 doc和.docx doc是word 97 word 2003的通用文件格式。docx是word 2007及其以後版本 word 2010,word 2013 的文件格式。當然,word 2007也相容word 97 word 2003的...
可擴充套件拉桿箱是什麼意思,可擴充套件拉桿箱是什麼意思 5
最紳士的痞子灬 可擴充套件拉桿箱也叫伸縮圍箱,就是有一層拉鍊拉開是箱體容積增大。拉桿箱的種類 1 硬質旅行箱 硬質旅行箱是一次衝壓成型的箱體,再配以邊框 拉桿 拉手 輪子 內襯等配件。一般都防水耐壓耐磨。材料主要有pp abs pc等材質。pp 堅硬,密度大,通常用於工具箱。abs pc 是指abs...
電腦分盤,D盤說邏輯分割槽,也不能擴充套件
是我的話,就直接把硬碟全格了。重新分割槽。你用工具弄的話,花的時間比重新分割槽裝系統還要多。蛋疼 你c盤分那麼大空間幹嘛用?開始分割槽的時候就設定好不就好了嘛,從系統盤去挖容量,虧你想得出來。汗 如果有重要資料的話先拷出來,再全盤格式化重新分割槽裝系統吧 c盤是系統盤,你先把c盤壓縮到你滿意的大小,...