1樓：夢ψφ孩
1. 在hive的數來據庫liuxiaowen中，建立目自標表lxw1234；
2. 從已存在的源表lxw_cate_id插入資料到目標表lxw1234；
3. 統計目標表lxw1234的記錄數；
4. 統計源表lxw_cate_id的記錄數；
5. 列印目標表lxw1234的limit 5記錄；
spark 可以訪問 hive 內部表嗎
2樓：劉松鷹
使用 hivecontext， 如果是使用mysql儲存元資料的話， 還需要將hive的配置檔案放在spark的專案下面。
1. 拷貝$hive_home/conf/hive-site.xml和hive-log4j.properties到 $spark_home/conf/
2. 在$spark_home/conf/目錄中，修改spark-env.sh，新增
export hive_home=/opt/hive-1.2.1
export spark_classpath=$hive_home/lib:$spark_classpath
3. 另外也可以設定一下spark的log4j配置檔案，使得螢幕中不列印額外的info資訊:
log4j.rootcategory=warn, console
如何學習Spark，學習Spark需要哪些基礎知識
1 首先，搭環境一定是必須的啦，答主當時搭環境，前前後後就折騰了乙個星期，linux，linux不懂內，各種奇怪的命令，容當時折騰linux命令的時候心中一萬隻草泥馬奔騰而過，許可權的各種奇奇怪怪的問題，跟著網上的教程來做還會出錯更是傷心。但是經歷這個初始的環境折騰之後，你最基礎的linux命令至少...
spark是什麼語言開發,spark框架用什麼語言開發的
如果條件許可,公司提供spark集群機器,在spark集群機器上進行開發和學習是最好的 回 如果條件不允許,在 答亞馬遜雲計算平台上構建spark集群環境也是一種非常理想的選擇 如果純粹是學習使用,安裝單機版的spark也是可以的 scala,函式式程式設計和物件導向的一種程式語言,可以執行在jvm...
大資料spark技術培訓需要學什麼
首先大資料spark技術是基於python和scala程式語言的，熟悉掌握這兩種程式語言是必須的 其次是要學習spark應用場景 模型和集群搭建等內容 還有後期的大資料處理等都是必要的知識點 scala入門 scala資料結構 scala模式匹配 高階函式 類 物件 scala包和引入 繼承 sca...