1樓：西安it優就業
大資料技術的體系龐大且複雜，基礎的技術包含資料的採集、資料預處理、分布式儲存、nosql資料庫、資料倉儲、機器學習、平行計算、視覺化等各種技術範疇和不同的技術層面。首先給出乙個通用化的大資料處理框架，主要分為下面幾個方面：資料採集與預處理、資料儲存、資料清洗、資料查詢分析和資料視覺化。
資料採集有硬體採集，如obd，有軟體採集，如滴滴，**。資料儲存就包括nosql，hadoop等等。資料清洗包括語議分析，流**格式化等等。
資料探勘包括關聯分析，相似度分析，距離分析，聚類分析等等。資料視覺化就是web的了。
2樓：加公尺谷大資料科技
簡單說有三大核心技術：拿資料，算資料，賣資料。
1、大資料採集與預處理：
flume ng實時日誌收集系統，支援在日誌系統中定製各類資料傳送方，用於收集資料，同時，對資料進行簡單處理；
logstash是開源的伺服器端資料處理管道，能夠同時從多個**採集資料、轉換資料，然後將資料傳送到「儲存庫」中；
sqoop，用來將關係型資料庫和hadoop中的資料進行相互轉移的工具，可以將乙個關係型資料庫中的資料匯入到hadoop中，也可以將hadoop中的資料匯入到關係型資料庫中；
zookeeper是乙個分布式的，開放原始碼的分布式應用程式協調服務，提供資料同步服務。
2、處理和分析大資料：
算資料需要計算平台了，資料怎麼存(hdfs, s3, hbase, cassandra)，怎麼算(hadoop, spark)。兩大重點：
hadoop：一種通用的分布式系統基礎架構，具有多個元件：hadoop分布式檔案系統(hdfs)，它將檔案以hadoop本機格式儲存並在集群中並行化; yarn，協調應用程式執行時的排程程式; mapreduce，這是實際並行處理資料的演算法。
spark：專注於在集群中並行處理資料，使用rdd(彈性分布式資料集)處理ram中的資料。
3、大資料應用：
大資料的實際應用場景，如金融大資料、教育大資料、餐飲大資料、交通大資料、工業大資料、農業大資料等。
大資料的核心技術有哪些
3樓：加公尺谷大資料科技
大資料技術的體系龐大且複雜，基礎的技術包含資料的採集、資料預處理、分布式儲存、資料庫、資料倉儲、機器學習、平行計算、視覺化等。
1、資料採集與預處理：
flume ng實時日誌收集系統，支援在日誌系統中定製各類資料傳送方，用於收集資料；
zookeeper是乙個分布式的，開放原始碼的分布式應用程式協調服務，提供資料同步服務。
2、資料儲存：
hadoop作為乙個開源的框架，專為離線和大規模資料分析而設計，hdfs作為其核心的儲存引擎，已被廣泛用於資料儲存。
hbase，是乙個分布式的、面向列的開源資料庫，可以認為是hdfs的封裝，本質是資料儲存、nosql資料庫。
3、資料清洗：mapreduce作為hadoop的查詢引擎，用於大規模資料集的平行計算
4、資料查詢分析：
hive的核心工作就是把sql語句翻譯成mr程式，可以將結構化的資料對映為一張資料庫表，並提供 hql(hive sql)查詢功能。
spark 啟用了記憶體分布資料集，除了能夠提供互動式查詢外，它還可以優化迭代工作負載。
5、資料視覺化：對接一些bi平台，將分析得到的資料進行視覺化，用於指導決策服務。
4樓：扎心嗎老鐵
非問答能發link我給link譬hadoop等源資料專案程式語言資料底層技術說
簡單永洪科技技術說四面其實代表部通用資料底層技術：
z-suite具高效能資料析能力完全摒棄向公升級(scale-up)全面支援橫向擴充套件(scale-out)z-suite主要通核技術支撐pb級資料：
跨粒度計算(in-database***puting)
z-suite支援各種見彙總支援幾乎全部專業統計函式益於跨粒度計算技術z-suite資料析引擎找尋優化計算案繼所銷較、昂貴計算都移資料儲存直接計算我稱庫內計算(in-database)技術減少資料移降低通訊負擔保證高效能資料析
平行計算(mpp ***puting)
列儲存 (column-based)
z-suite列儲存基於列儲存資料集市讀取關資料能降低讀寫銷同提高i/o 效率提高查詢效能另外列儲存能夠更壓縮資料般壓縮比5 -10倍間資料佔空間降低傳統儲存1/51/10 良資料壓縮技術節省儲存裝置記憶體銷卻提公升計算效能
記憶體計算
5樓：如若還有來生
第一、對於任何的資料分析來說，首要的就是資料採集，
一些移動客戶端中的資料進行快速而又廣泛的蒐集，同時它還能夠迅速的將一些其他的平台中的資料來源中的資料匯入到該工具中，對資料進行清洗、轉換、整合等，從而形成在該工具的資料庫中或者是資料集市當中，為聯絡分析處理和資料探勘提供了基礎。
第二、資料在採集之後，大資料分析的另乙個技術資料訪問將會繼續發揮作用，方便使用者在使用中儲存原始性的資料，再有就是基礎性的架構，比如說運儲存和分布式的檔案儲存等，都是比較常見的一種。
第三、資料處理可以說是該軟體具有的最核心的技術之一，面對龐大而又複雜的資料，運用一些計算方法或者是統計的方法等對資料進行處理，包括對它的統計、歸納、分類等，從而能夠讓使用者深度的了解到資料所具有的深度價值。
第四、統計分析可以幫助使用者分析出現某一種資料現象的原因是什麼，差異分析則可以比較出企業的產品銷售在不同的時間和地區中所顯示出來的巨大差異，以便未來更合理的在時間和地域中進行布局。
第五、某一種資料現象和另外一種資料現象之間存在怎樣的關係，此外，聚類分析以及主成分分析和對應分析等都是常用的技術，這些技術的運用會讓資料開發更接近人們的應用目標。
億信華辰專注於提供高效可靠又簡單易用的資料分析解決方案，是國內領先的一站式大資料分析平台產品與服務提供商。
6樓：永不言棄
答: 1.分布式儲存系統(hdfs)。
2.mapreduce分布式計算框架。3.
yarn資源管理平台。4.sqoop資料遷移工具。
5.mahout資料探勘演算法庫。6.
hbase分布式資料庫。7.zookeeper分布式協調服務。
8.hive基於hadoop的資料倉儲。9.
flume日誌收集工具。
大資料技術有哪些 核心技術是什麼
7樓：匿名使用者
這個只能說主流技術吧，不能說核心技術；現在國內很多公司大資料方面的主要使用時hadoop生態圈內的技術，比如hadoop、yarn、zookeeper、kafka、flume、spark 、hive、hbase ,這些事使用比較多的，並不是說就只有這些技術，而且只是應用技術方便的，還有資料分析方向的等等。所以你這個問題首先就有問題，大資料是乙個方向領域，就好比你問飲食是什麼，飲食有哪些方面一樣。
8樓：中公教育it優就業
隨著大資料分析市場迅速擴充套件，哪些技術是最有需求和最有增長潛力的呢？在forrester research的乙份最新研究報告中，評估了22種技術在整個資料生命週期中的成熟度和軌跡。這些技術都對大資料的實時、**和綜合洞察有著巨大的貢獻。
1. **分析技術
這也是大資料的主要功能之一。**分析允許公司通過分析大資料來源來發現、評估、優化和部署**模型，從而提高業務效能或降低風險。同時，大資料的**分析也與我們的生活息息相關。
**會**你每次購物可能還想買什麼，愛奇藝正在**你可能想看什麼，百合網和其他約會**甚至試圖**你會愛上誰……
2. nosql資料庫
nosql，not only sql，意思是「不僅僅是sql」，泛指非關係型資料庫。nosql資料庫提供了比關聯式資料庫更靈活、可伸縮和更便宜的替代方案，打破了傳統資料庫市場一統江山的格局。並且，nosql資料庫能夠更好地處理大資料應用的需求。
常見的nosql資料庫有hbase、redis、mongodb、couchbase、leveldb等。
3. 搜尋和知識發現
支援來自於多種資料來源(如檔案系統、資料庫、流、api和其他平台和應用程式)中的大型非結構化和結構化資料儲存庫中自助提取資訊的工具和技術。如，資料探勘技術和各種大資料平台。
4. 大資料流計算引擎
能夠過濾、聚合、豐富和分析來自多個完全不同的活動資料來源的資料的高吞吐量的框架，可以採用任何資料格式。現今流行的流式計算引擎有spark streaming和flink。
5. 記憶體資料結構
通過在分布式計算機系統中動態隨機訪問記憶體(dram)、快閃儲存器或ssd上分布資料，提供低延遲的訪問和處理大量資料。
6. 分布式檔案儲存
為了保證檔案的可靠性和訪問效能，資料通常以副本的方式儲存在多個節點上的計算機網路。常見的分布式檔案系統有gfs、hdfs、lustre 、ceph等。
7. 資料虛擬化
資料虛擬化是一種資料管理方法，它允許應用程式檢索和運算元據，而不需要關心有關資料的技術細節，比如資料在原始檔中是何種格式，或者資料儲存的物理位置，並且可以提供單個客戶使用者檢視。
8. 資料整合
用於跨解決方案進行資料編排的工具，如amazon elastic mapreduce (emr)、apache hive、apache pig、apache spark、mapreduce、couchbase、hadoop和mongodb等。
9. 資料準備
減輕採購、成形、清理和共享各種雜亂資料集的負擔的軟體，以加速資料對分析的有用性。
10. 資料質量
使用分布式資料儲存和資料庫上的並行操作，對大型高速資料集進行資料清理和充實的產品。
9樓：最新資訊資料
想學習大資料技術，是不是首先要知道大資料技術有哪些呢？也好知道自己未來應該往哪個方向發展，應該重點學習哪些知識？
抽象而言，各種大資料技術無外乎分布式儲存 + 平行計算。具體體現為各種分布式檔案系統和建立在其上的並行運算框架。這些軟體程式都部署在多個相互連通、統一管理的物理或虛擬運算節點之上，形成集群(cluster)。
因此不妨說，雲計算是大資料的基礎。
下面介紹幾種當前比較流行的大資料技術：
1.hadoop
hadoop無疑是當前很知名的大資料技術了。
2023年到2023年間，google發布了關於gfs、mapreduce和bigtable三篇技術**(這幾篇**成為了後來雲計算、大資料領域發展的重要基石)。當時一位因公司倒閉賦閒在家的程式設計師doug cutting根據前兩篇**，開發出了乙個簡化的山寨版gfs – hdfs,以及基於其的mapreduce計算框架，這就是hadoop當初的版本。後來cutting被yahoo僱傭，得以依賴yahoo的資源改進hadoop,並將其貢獻給了apache開源社群。
簡單描述hadoop原理：資料分布式儲存，運算程式被發派到各個資料節點進行分別運算(map)，再將各個節點的運算結果進行合併歸一(reduce)，生成結果。相對於動輒tb級別的資料，計算程式一般在kb – mb的量級，這種移動計算不移動資料的設計節約了大量網路頻寬和時間，並使得運算過程可以充分並行化。
在其誕生後的近10年裡，hadoop憑藉其簡單、易用、高效、免費、社群支援豐富等特徵成為眾多企業雲計算、大資料實施的首選。
2.storm
hadoop雖好，卻有其「死穴」.其一：它的運算模式是批處理。
這對於許多有實時性要求的業務就無法做到很好的支援。因此，twitter推出了他們自己的基於流的運算框架——storm。不同於hadoop一次性處理所有資料並得出統一結果的作業(job)，storm對源源匯入的資料流進行持續不斷的處理，隨時得出增量結果。
3.spark
hadoop的另乙個致命弱點是：它的所有中間結果都需要進行硬碟儲存，i/o消耗巨大，這就使得它很不適合多次迭代的運算。而大多數機器學習演算法，恰恰要求大量迭代運算。
2023年開始，uc berkeley amp lab開始研發分布式運算的中間過程全部記憶體儲存的spark框架，由此在迭代計算上大大提高了效率。也因此成為了hadoop的強有力競爭者。
4.nosql 資料庫
nosql資料庫可以泛指非關係型資料庫，不過一般用來指稱那些建立在分布式檔案系統(例如hdfs)之上，基於key-value對的資料管理系統。
相對於傳統的關係型資料庫，nosql資料庫中儲存的資料無需主鍵和嚴格定義的schema。於是，大量半結構化、非結構化資料可以在未經清洗的情況下直接進行儲存。這一點滿足了處理大量、高速、多樣的大資料的需求。
當前比較流行的nosql資料庫有mongodb,redis,cassandra,hbase等。
nosql並不是沒有sql,而是不僅僅有(not only)sql的意思。為了相容之前許多執行在關係型資料庫上的業務邏輯，有很多在nosql資料庫上執行sql的工具湧現出來，典型的例如hive和pig,它們將使用者的sql語句轉化成mapreduce作業，在hadoop上執行。
大資料產業已進入發展的「快車道」，急需大量優秀的大資料人才作為後盾。能夠在大資料行業崛起的初期進入到這個行業當中來，才有機會成為時代的弄潮兒。
哪些技術屬於大資料的關鍵技術，簡述大資料的關鍵技術
hadoop中的大數bai據的關鍵 技術1.分布du式儲存系統 hdfs zhi2.mapreduce分布式計算框架。3.yarn資源dao 管理平台。4.sqoop資料 內遷移工 容具。5.mahout資料探勘演算法庫。6.hbase分布式資料庫。7.zookeeper分布式協調服務。8.hive...
大資料技術的發展趨勢有哪些，大資料在未來有什麼樣的發展趨勢
靈魂出處 從近兩年大資料方向研究生的就業情況來看，大資料領域的崗位還是比較多的，尤其是大資料開發崗位，目前正逐漸從大資料平臺開發向大資料應用開發領域覆蓋，這也是大資料開始全面落地應用的必然結果。大資料開發崗位的數量明顯比較多，而且不僅需要研發型人才，也需要應用型人才，所以本科生的就業機會也比較多。當...
大資料入門書籍有哪些，適合入門大資料的書籍有哪些？
雨後不初晴 社交 電商 雲，o2o，大資料。每個階段都有熱點詞。這會兒最熱的應該就是 大資料 了。不過，有點濫，有點俗，似乎也有點泡沫化了。不用擔心，一般來講，講得最厲害的時候，時候還早呢 等到無聲無息了，那真是隨風潛入夜了。但是，說真的，處於這個風雲激盪創業年代的人們，如果能夠靜下心仔細瞭解點有關...