如何利用永洪產品Impala數據源的高級屬性進行數據管控
作者: 永洪BI??來源: 永洪科技??時間:2020年01月15日
在上一篇我們講到了業務人員可以用永洪產品的自服務數據集進行自助式分析（利用永洪自服務數據查詢，輕松構建復雜數據集），那么IT管理員如何管理業務人員進行分析呢？
永洪的某財險客戶需要業務用戶進行自助式分析，高峰期在350并發以上，企業IT管理部希望對所有IT人員和業務人員查詢數據的數據量大小優先級進行管控，然后讓業務用戶進行自助式分析。
因為該財險公司已經將數據存儲在了Cloudera Impala集群中。該財險的IT管理部門會根據每一個用戶的數據量大小、業務類型分配隊列，并且詳細設置該隊列中的默認查詢參數，尤其是mem_limit參數和最大并發數，這樣可以較好的限制用戶之間的影響，為了避免惡意用戶的使用，可以限制用戶自己設置mem_limit參數，盡可能得保證Impala集群的穩定性。
1、在Impala數據庫層面，IT管理員或者DBA可以在session建立之后進行設置。
設置隊列限制
set request_pool = queue_it；
用戶在創建一個數據源連接（connection）之后，可以通過set request_pool=pool_name的方式設置改session的請求提交的對應的隊列。
設置最大內存使用限制
set mem_limit=10G；
設置內存10G(單節點上的內存量)，impala經常會over estimate SQL語句需要的資源，所以強烈建議在執行SQL之前，使用 set mem_limit 限制SQL查詢的內存消耗。
2、永洪產品設置
提供了在數據源連接后對session進行設置的屬性。
針對于不同2種類的用戶，IT管理員期望根據數據量大小、業務類型設置分配的隊列。
實現步驟：
選擇永洪產品數據源，impala：
在設置好Impala數據源的基礎連接信息后，選擇數據源的高級屬性進行如圖設置。
直接在隊列名設置queue_it , 并且點擊添加高級屬性限制mem_limit=2G。
如下所示，IT部門的數據源為Impala_it，設置如下：
財務部門的數據源Impala_finance，設置如下：
兩者存儲在數據源上的資源樹上，如下圖所示：
財險部門的用戶（user_finance）在制作數據集時直接選擇對應的數據源即可查詢數據。
?
