數據是大數據風控的核心，大數據要求的不但是數據多，更要求維度豐富;而風控則是對市場、信用以及操作層面的風險控制。以下是小編為你整理的大數據處理學習 ?
在大數據風控這個行業里混，需要了解用戶，了解場景，而這些往往都可以通過數據間接反映出來。 ?
比如，用戶在某一時期內在多家機構申請過貸款，那說明該用戶目前借錢意愿強烈，即使歷史征信良好，也要用策略攔住他的申請，因為他很可能出現拆東墻補西墻的可能。
因此，用數據說話是一種方法論。不同數據對于風險的作用不同，獲取難度也不同，這就決定了并非對每個用戶都能獲取到其各個維度的信息。 ?
同時，有很多特征只有很少的用戶才會有，也因此造就了數據的稀疏性。 ?
如何將稀疏數據用在各種機器學習模型中，則正是要考察模型人員對于風險及產品理解的時候了。 ?
要做好大數據風控，除了數據，模型就是最重要的了。模型有很多，如一般的線性回歸，Logistic回歸以及深度學習等，在實際的業務場景中，有的可能單一模型就能達到很好的效果，有的則需要幾個模型的結合，而具體使用哪個模型用哪些特征，則是要考察模型人員對業務和算法的理解了。 ?
再說一下大數據風控的直觀感受。傳統風控更像是冷兵器時代的戰爭，雖有協作但更多的是各作戰單位憑借個人能力的大混戰;而大數據風控則像是現代戰爭中的立體作戰，各個作戰單位(數據)在統一的指揮中樞(算法)里高度協同作戰。大數據風控能將相似的人更精準的分群，會讓你看到形形色色更加的人，會讓你從紛繁的單一的數據中看到其背后的萬千世界。 ?
總之，做數據做模型前一定要理解人，做完數據模型后還要能夠解釋人。 ?
初識數據分析 ?
這個階段是你學習數據分析的*個月。核心的三本書就是：統計學、R IN ACTION、深入淺出數據分析。*星期：好好的閱讀一下統計學這本教材。按照每天3個小時的時間，一個星期你至少能看完8章。踏踏實實的看完，課后習題不需要做，重點放在理解公式推導以及專業名字定義的理解上。第二星期：有了統計學基礎，R語言學習起來就不會太費勁。《R in action》 是公認的R語言經典教材。 ?
跟著書上的代碼仔細的敲一筆遍，你不需要全部看完這本書，只需要學會前8章左右就差不多了。 學完后你會對統計學有一個更深的認識～第三個星期：《深入淺出數據分析》這本書很大頭，不是因為它內容多，而是因為它廢話和插圖多。 ?
很有意思的一本入門級別的教材，花一個星期好好的讀一下，能學多少是多少。第四個星期：查漏補缺。經過前三個星期的學習，你一定有不少的疑惑或者遺忘了某些知識。不要著急，這個星期就是用來好好回顧一下你本月所學的東西，不懂的定義再看看，不會的代碼再敲敲，不懂的知識再google一下～ ?
大數據的經典案例 ?
梅西百貨的實時定價機制。根據需求和庫存的情況，該公司基于SAS的系統對多達7300萬種貨品進行實時調價。 ?
Tipp24 AG針對歐洲博彩業構建的下注和預測平臺。該公司用KXEN軟件來分析數十億計的交易以及客戶的特性，然后通過預測模型對特定用戶進行動態的營銷活動。這項舉措減少了90%的預測模型構建時間。SAP公司正在試圖收購KXEN。“SAP想通過這次收購來扭轉其長久以來在預測分析方面的劣勢。”Laney分析到。
?
沃爾瑪的搜索。這家零售業寡頭為其網站Walmart.com自行設計了*的搜索引擎Polaris，利用語義數據進行文本分析、機器學習和同義詞挖掘等。根據沃爾瑪的說法，語義搜索技術的運用使得在線購物的完成率提升了10%到15%。“對沃爾瑪來說，這就意味著數十億美元的金額。”Laney說。 ?
快餐業的視頻分析(Laney沒有說出這家公司的名字)。該公司通過視頻分析等候隊列的長度，然后自動變化電子菜單顯示的內容。如果隊列較長，則顯示可以快速供給的食物;如果隊列較短，則顯示那些利潤較高但準備時間相對長的食品。 ?
ranger(安全管理工具) ?
Apache ranger是一個hadoop集群權限框架，提供操作、監控、管理復雜的數據權限，它提供一個集中的管理機制，管理基于yarn的hadoop生態圈的所有數據權限。 ?
knox(hadoop安全網關) ?
Apache knox是一個訪問hadoop集群的restapi網關，它為所有rest訪問提供了一個簡單的訪問接口點，能完成3A認證(Authentication，Authorization，Auditing)和SSO(單點登錄)等 ?
falcon(數據生命周期管理工具) ?
Apache Falcon 是一個面向Hadoop的、新的數據處理和管理平臺，設計用于數據移動、數據管道協調、生命周期管理和數據發現。它使終端用戶可以快速地將他們的數據及其相關的處理和管理任務“上載(onboard)”到Hadoop集群。 ?
Ambari(安裝部署配置管理工具) ?
Apache Ambari 的作用來說，就是創建、管理、監視 Hadoop 的集群，是為了讓 Hadoop 以及相關的大數據軟件更容易使用的一個web工具。 ?
