Ⅰ 大數據分析領域有哪些分析模型
數據挖掘和分析領域涉及多種模型，旨在從大量數據中提取有價值的信息。以下是幾種常見的分析模型：
1. 降維模型
在處理大數據集時，高維度數據可能導致計算復雜度和存儲需求增加。降維模型如主成分分析（PCA）和t-SNE，旨在減少數據集的維度，同時保留最重要的信息。
2. 回歸模型
回歸模型用於分析自變數與因變數之間的關系。線性回歸是最基礎的形式，它假設關系是線性的。通過建立數學方程，回歸模型可以預測因變數的值。
3. 聚類模型
聚類模型如K-means和層次聚類，將數據點分組，使得同一組內的數據點相似度更高。這些模型有助於發現數據中的自然分組或模式。
4. 分類模型
分類模型如決策樹和SVM，通過學習已標記數據的特徵來預測新數據的類別。這些模型在二分類或多分類問題中非常有用。
5. 關聯規則模型
關聯規則模型如Apriori演算法，用於發現大數據集中的物品或事件之間的有趣關系。例如，超市購物籃分析可以發現顧客購買某些商品的傾向。
6. 時間序列模型
時間序列模型如ARIMA和季節性分解時間序列預測（SARIMA），用於分析和預測數據隨時間的變化趨勢。
7. 異常檢測模型
異常檢測模型如孤立森林和高斯混合模型，用於識別數據集中的異常值或離群點。這些模型在欺詐檢測和安全監控等領域非常重要。
8. 協同過濾模型
協同過濾模型通過分析用戶行為和偏好，為用戶推薦物品。這種模型廣泛應用於電影、音樂和商品推薦系統中。
9. 主題模型
主題模型如隱含狄利克雷分配（LDA），用於文本數據的分析，以識別文檔集合中的主題分布。
10. 路徑和歸因模型
路徑分析、漏斗分析和歸因模型，用於理解用戶如何通過一系列步驟達成特定目標或完成轉化。這些模型在在線營銷和用戶行為分析中尤為重要。
這些模型各自有不同的應用場景和優勢，它們在數據分析和挖掘領域中扮演著關鍵角色。
Ⅱ 07_推薦系統演算法詳解
基於人口統計學的推薦與用戶畫像、基於內容的推薦、基於協同過濾的推薦。
1、基於人口統計學的推薦機制( Demographic-based Recommendation)是一種最易於實現的推薦方法，它只是簡單的根據系統用戶的基本信息發現用戶的相關程度，然後將相似用戶喜愛的其他物品推薦給當前用戶。
2、對於沒有明確含義的用戶信息(比如登錄時間、地域等上下文信息)，可以通過聚類等手段，給用戶打上分類標簽。
3、對於特定標簽的用戶，又可以根據預設的規則(知識)或者模型，推薦出對應的物品。
4、用戶信息標簽化的過程一般又稱為 用戶畫像 ( User Profiling）。
（1）用戶畫像( User Profile)就是企業通過收集與分析消費者社會屬性、生活習慣、消費行為等主要信息的數據之後，完美地抽象出一個用戶的商業全貌作是企業應用大數據技術的基本方式。
（2）用戶畫像為企業提供了足夠的信息基礎，能夠幫助企業快速找到精準用戶群體以及用戶需求等更為廣泛的反饋信息。
（3）作為大數據的根基，它完美地抽象出一個用戶的信息全貌，為進一步精準、快速地分析用戶行為習慣、消費習慣等重要信息，提供了足夠的數據基礎。
1、 Content- based Recommendations(CB)根據推薦物品或內容的元數據，發現物品的相關性，再基於用戶過去的喜好記錄，為用戶推薦相似的物品。
2、通過抽取物品內在或者外在的特徵值,實現相似度計算。比如一個電影,有導演、演員、用戶標簽UGC、用戶評論、時長、風格等等，都可以算是特徵。
3、將用戶(user)個人信息的特徵(基於喜好記錄或是預設興趣標簽)，和物品(item)的特徵相匹配，就能得到用戶對物品感興趣的程度。在一些電影、音樂、圖書的社交網站有很成功的應用,有些網站還請專業的人員對物品進行基因編碼/打標簽(PGC）。
4、 相似度計算：
5、對於物品的特徵提取——打標簽(tag)
- 專家標簽(PGC）
- 用戶自定義標簽(UGC)
- 降維分析數據,提取隱語義標簽(LFM)
對於文本信息的特徵提取——關鍵詞
- 分詞、語義處理和情感分析(NLP)
- 潛在語義分析(LSA）
6、 基於內容推薦系統的高層次結構
7、 特徵工程
（1）特徵( feature)：數據中抽取出來的對結果預測有用的信息。
特徵的個數就是數據的觀測維度。
特徵工程是使用專業背景知識和技巧處理數據，使得特徵能在機器學習演算法上發揮更好的作用的過程。
特徵工程一般包括特徵清洗(采樣、清洗異常樣本)，特徵處理和特徵選擇。
特徵按照不同的數據類型分類，有不同的特徵處理方法：數值型、類別型、時間型、統計型。
（2）數值型特徵處理
用連續數值表示當前維度特徵，通常會對數值型特徵進行數學上的處理，主要的做法是歸一化和離散化。
* 幅度調整歸一化：
特徵與特徵之間應該是平等的，區別應該體現在 特徵內部 。
例如房屋價格和住房面積的幅度是不同的，房屋價格可能在3000000~15000000(萬)之間,而住房面積在40-300(平方米)之間，那麼明明是平等的兩個特徵，輸入到相同的模型中後由於本身的幅值不同導致產生的效果不同，這是不合理的
* 數值型特徵處理——離散化
離散化的兩種方式：等步長——簡單但不一定有效；等頻——min -> 25% -> 75% -> max
兩種方法對比：
等頻的離散化方法很精準，但需要每次都對數據分布進行一遍從新計算，因為昨天用戶在淘寶上買東西的價格分布和今天不一定相同，因此昨天做等頻的切分點可能並不適用，而線上最需要避免的就是不固定，需要現場計算，所以昨天訓練出的模型今天不一定能使用。
等頻不固定，但很精準，等步長是固定的，非常簡單，因此兩者在工業上都有應用。
（3） 類別型特徵處理
類別型數據本身沒有大小關系，需要將它們編碼為數字，但它們之間不能有預先設定的大小關系，因此既要做到公平，又要區分開它們，那麼直接開辟多個空間。
One-Hot編碼/啞變數：One-Hot編碼/啞變數所做的就是將類別型數據平行地展開，也就是說，經過One-Hot編碼啞變數後，這個特徵的空間會膨脹。
（4） 時間型特徵處理
時間型特徵既可以做連續值,又可以看做離散值。
連續值：持續時間(網頁瀏覽時長)；間隔時間(上一次購買/點擊離現在的時間間隔)。
離散值：一天中哪個時間段；一周中的星期幾；一年中哪個月/星期；工作日/周末。
（5） 統計型特徵處理
加減平均：商品價格高於平均價格多少，用戶在某個品類下消費超過多少。
分位線：商品屬於售出商品價格的分位線處。
次序性：商品處於熱門商品第幾位。
比例類：電商中商品的好/中/差評比例。
8、 推薦系統常見反饋數據 ：
9、 基於UGC的推薦
用戶用標簽來描述對物品的看法，所以用戶生成標簽(UGC)是聯系用戶和物品的紐帶，也是反應用戶興趣的重要數據源。
一個用戶標簽行為的數據集一般由一個三元組(用戶,物品,標簽)的集合表示，其中一條記錄(u,i,b)表示用戶u給物品打上了標簽b。
一個最簡單的演算法：
- 統計每個用戶最常用的標簽
- 對於每個標簽,統計被打過這個標簽次數最多的物品
- 對於一個用戶，首先找到他常用的標簽，然後找到具有這些標簽的最熱門的物品，推薦給他
- 所以用戶u對物品i的興趣公式為 ，其中 使用戶u打過標簽b的次數， 是物品i被打過標簽b的次數。
簡單演算法中直接將用戶打出標簽的次數和物品得到的標簽次數相乘，可以簡單地表現出用戶對物品某個特徵的興趣。
這種方法傾向於給熱門標簽(誰都會給的標簽,如「大片」、「搞笑」等)、熱門物品(打標簽人數最多)比較大的權重，如果一個熱門物品同時對應著熱門標簽,那它就會「霸榜」，推薦的個性化、新穎度就會降低。
類似的問題,出現在新聞內容的關鍵字提取中。比如以下新聞中,哪個關鍵字應該獲得更高的權重?
10、 TF-IDF：詞頻逆文檔頻率 ( Term Frequency- -Inverse Document Frequency,TF-DF)是一種用於資訊檢索與文本挖掘的常用加權技術。
TFDF是一種統計方法，用以評估一個字詞對於一個文件集或一個語料庫中的其中份文件的重要程度。字詞的重要性隨著它在文件中出現的次數成正比增加，但同時會隨著它在語料庫中出現的頻率成反比下降。
TFIDF=TF IDF
TF-IDF的主要思想是 ：如果某個詞或短語在一篇文章中出現的頻率TF高，並且在其他文章中很少出現，則認為此詞或者短語具有很好的類別區分能力，適合用來分類。
TF-DF加權的各種形式常被搜索引擎應用，作為文件與用戶查詢之間相關程度的度量或評級。
詞頻( Term Frequency,TF) ：指的是某一個給定的詞語在該文件中出現的頻率。這個數字是對詞數的歸一化，以防止偏向更長的文件。(同一個詞語在長文件里可能會比短文件有更高的詞數,而不管該詞語重要與否。） ，其中 表示詞語 i 在文檔 j 中出現的頻率， 表示 i 在 j 中出現的次數， 表示文檔 j 的總詞數。
逆向文件頻率( Inverse Document Frequency,IDF) ：是一個詞語普遍重要性的度量，某一特定詞語的IDF，可以由總文檔數目除以包含該詞語之文檔的數目，再將得到的商取對數得到 ，其中 表示詞語 i 在文檔集中的逆文檔頻率，N表示文檔集中的文檔總數， 表示文檔集中包含了詞語 i 的文檔數。
（11） TF-IDF對基於UGC推薦的改進 ： ，為了避免熱門標簽和熱門物品獲得更多的權重，我們需要對「熱門進行懲罰。
借鑒TF-IDF的思想，以一個物品的所有標簽作為「文檔」，標簽作為「詞語」，從而計算標簽的「詞頻」(在物品所有標簽中的頻率)和「逆文檔頻率」(在其它物品標簽中普遍出現的頻率）。
由於「物品i的所有標簽」 應該對標簽權重沒有影響，而 「所有標簽總數」 N 對於所有標簽是一定的，所以這兩項可以略去。在簡單演算法的基礎上,直接加入對熱門標簽和熱門物品的懲罰項： ，其中， 記錄了標簽 b 被多少個不同的用戶使用過， 記錄了物品 i 被多少個不同的用戶打過標簽。
（一）協同過濾（Collaborative Filtering, CF）
1、基於協同過濾(CF)的推薦：基於內容( Content based,CB)主要利用的是用戶評價過的物品的內容特徵，而CF方法還可以利用其他用戶評分過的物品內容。
CF可以解決CB的一些局限：
- 物品內容不完全或者難以獲得時,依然可以通過其他用戶的反饋給出推薦。
- CF基於用戶之間對物品的評價質量，避免了CB僅依賴內容可能造成的對物品質量判斷的干。
- CF推薦不受內容限制，只要其他類似用戶給出了對不同物品的興趣，CF就可以給用戶推薦出內容差異很大的物品(但有某種內在聯系)
分為兩類：基於近鄰和基於模型。
2、基於近鄰的推薦系統：根據的是相同「口碑」准則。是否應該給Cary推薦《泰坦尼克號》?
（二）基於近鄰的協同過濾
1、 基於用戶（User-CF）： 基於用戶的協同過濾推薦的基本原理是，根據所有用戶對物品的偏好，發現與當前用戶口味和偏好相似的「鄰居」用戶群，並推薦近鄰所偏好的物品。
在一般的應用中是採用計算「K-近鄰」的演算法；基於這K個鄰居的歷史偏好信息，為當前用戶進行推薦。
User-CF和基於人口統計學的推薦機制：
- 兩者都是計算用戶的相似度，並基於相似的「鄰居」用戶群計算推薦。
- 它們所不同的是如何計算用戶的相似度：基於人口統計學的機制只考慮用戶本身的特徵，而基於用戶的協同過濾機制可是在用戶的歷史偏好的數據上計算用戶的相似度，它的基本假設是，喜歡類似物品的用戶可能有相同或者相似的口味和偏好。
2、基於物品（Item-CF）：基於項目的協同過濾推薦的基本原理與基於用戶的類似，只是使用所有用戶對物品的偏好，發現物品和物品之間的相似度，然後根據用戶的歷史偏好信息，將類似的物品推薦給用戶。
Item-CF和基於內容(CB)的推薦
- 其實都是基於物品相似度預測推薦，只是相似度計算的方法不一樣，前者是從用戶歷史的偏好推斷，而後者是基於物品本身的屬性特徵信息。
同樣是協同過濾，在基於用戶和基於項目兩個策略中應該如何選擇呢?
- 電商、電影、音樂網站,用戶數量遠大於物品數量。
- 新聞網站，物品(新聞文本)數量可能大於用戶數量。
3、 User-CF和Item-CF的比較
同樣是協同過濾，在User-CF和ltem-CF兩個策略中應該如何選擇呢？
Item-CF應用場景
- 基於物品的協同過濾( Item-CF ) 推薦機制是 Amazon在基於用戶的機制上改良的一種策略因為在大部分的Web站點中，物品的個數是遠遠小於用戶的數量的，而且物品的個數和相似度相對比較穩定，同時基於物品的機制比基於用戶的實時性更好一些，所以 Item-CF 成為了目前推薦策略的主流。
User-CF應用場景
- 設想一下在一些新聞推薦系統中，也許物品一一也就是新聞的個數可能大於用戶的個數，而且新聞的更新程度也有很快，所以它的相似度依然不穩定，這時用 User-cf可能效果更好。
所以，推薦策略的選擇其實和具體的應用場景有很大的關系。
4、 基於協同過濾的推薦優缺點
（1）基於協同過濾的推薦機制的優點：
它不需要對物品或者用戶進行嚴格的建模，而且不要求對物品特徵的描述是機器可理解的，所以這種方法也是領域無關的。
這種方法計算出來的推薦是開放的，可以共用他人的經驗，很好的支持用戶發現潛在的興趣偏好。
（2）存在的問題
方法的核心是基於歷史數據，所以對新物品和新用戶都有「冷啟動」的問題。
推薦的效果依賴於用戶歷史好數據的多少和准確性。
在大部分的實現中，用戶歷史偏好是用稀疏矩陣進行存儲的，而稀疏矩陣上的計算有些明顯的問題，包括可能少部分人的錯誤偏好會對推薦的准確度有很大的影響等等。
對於一些特殊品味的用戶不能給予很好的推薦。
（三）基於模型的協同過濾
1、基本思想
（1）用戶具有一定的特徵，決定著他的偏好選擇
（2）物品具有一定的特徵，影響著用戶需是否選擇它。
（3）用戶之所以選擇某一個商品，是因為用戶特徵與物品特徵相互匹配。
基於這種思想，模型的建立相當於從行為數據中提取特徵，給用戶和物品同時打上「標簽」；這和基於人口統計學的用戶標簽、基於內容方法的物品標簽本質是一樣的，都是特徵的提取和匹配。
有顯性特徵時(比如用戶標簽、物品分類標簽)我們可以直接匹配做出推薦；沒有時，可以根據已有的偏好數據，去發據出隱藏的特徵,這需要用到隱語義模型(LFM)。
2、基於模型的協同過濾推薦，就是基於樣本的用戶偏好信息，訓練一個推薦模型,然後根據實時的用戶喜好的信息進行預測新物品的得分，計算推薦
基於近鄰的推薦和基於模型的推薦
- 基於近鄰的推薦是在預測時直接使用已有的用戶偏好數據，通過近鄰數據來預測對新物品的偏好(類似分類)
- 而基於模型的方法，是要使用這些偏好數據來訓練模型，找到內在規律，再用模型來做預測(類似回歸)
訓練模型時，可以基於標簽內容來提取物品特徵，也可以讓模型去發據物品的潛在特徵；這樣的模型被稱為 隱語義模型 ( Latent Factor Model,LFM)。
（1）隱語義模型(LFM)：用隱語義模型來進行協同過濾的目標：
- 揭示隱藏的特徵,這些特徵能夠解釋為什麼給出對應的預測評分
- 這類特徵可能是無法直接用語言解釋描述的,事實上我們並不需要知道,類似「玄學」
通過矩陣分解進行降維分析
- 協同過濾演算法非常依賴歷史數據，而一般的推薦系統中，偏好數據又往往是稀疏的；這就需要對原始數據做降維處理。
- 分解之後的矩陣，就代表了用戶和物品的隱藏特徵
隱語義模型的實例：基於概率的隱語義分析(pLSA)、隱式迪利克雷分布模型(LDA)、矩陣因子分解模型(基於奇異值分解的模型,SVD)
（2）LFM降維方法——矩陣因子分解
（3）LFM的進一步理解
我們可以認為，用戶之所以給電影打出這樣的分數，是有內在原因的，我們可以挖掘出影響用戶打分的隱藏因素，進而根據未評分電影與這些隱藏因素的關聯度，決定此未評分電影的預測評分。
應該有一些隱藏的因素，影響用戶的打分，比如電影：演員、題材、年代…甚至不定是人直接可以理解的隱藏因子。
找到隱藏因子，可以對user和Iiem進行關聯(找到是由於什麼使得user喜歡/不喜歡此Item,什麼會決定user喜歡/不喜歡此item)，就可以推測用戶是否會喜歡某一部未看過的電影。
（4）矩陣因子分解
（5）模型的求解——損失函數
（6）模型的求解演算法——ALS
現在，矩陣因子分解的問題已經轉化成了一個標準的優化問題，需要求解P、Q，使目標損失函數取最小值。
最小化過程的求解，一般採用隨機梯度下降演算法或者交替最小二乘法來實現交替最小二乘法( Alternating Least Squares,ALS)
ALS的思想是，由於兩個矩陣P和Q都未知,且通過矩陣乘法耦合在一起，為了使它們解耦，可以先固定Q，把P當作變數，通過損失函數最小化求出P，這就是一個經典的最小二乘問題；再反過來固定求得的P，把Q當作變數，求解出Q：如此交替執行，直到誤差滿足閱值條件，或者到達迭代上限。
（7）梯度下降演算法
Ⅲ 大數據分析領域有哪些分析模型
數據角度的模型一般指的是統計或數據挖掘、機器學習、人工智慧等類型的模型，是純粹從科學角度出發定義的。
1. 降維
在面對海量數據或大數據進行數據挖掘時，通常會面臨「維度災難」，原因是數據集的維度可以不斷增加直至無窮多，但計算機的處理能力和速度卻是有限的；另外，數據集的大量維度之間可能存在共線性的關系，這會直接導致學習模型的健壯性不夠，甚至很多時候演算法結果會失效。因此，我們需要降低維度數量並降低維度間共線性影響。
數據降維也被成為數據歸約或數據約減，其目的是減少參與數據計算和建模維度的數量。數據降維的思路有兩類：一類是基於特徵選擇的降維，一類是是基於維度轉換的降維。
2. 回歸
回歸是研究自變數x對因變數y影響的一種數據分析方法。最簡單的回歸模型是一元線性回歸（只包括一個自變數和一個因變數，且二者的關系可用一條直線近似表示），可以表示為Y=β0+β1x+ε，其中Y為因變數，x為自變數，β1為影響系數，β0為截距，ε為隨機誤差。
回歸分析按照自變數的個數分為一元回歸模型和多元回歸模型；按照影響是否線性分為線性回歸和非線性回歸。
3. 聚類
聚類是數據挖掘和計算中的基本任務，聚類是將大量數據集中具有「相似」特徵的數據點劃分為統一類別，並最終生成多個類的方法。聚類分析的基本思想是「物以類聚、人以群分」，因此大量的數據集中必然存在相似的數據點，基於這個假設就可以將數據區分出來，並發現每個數據集（分類）的特徵。
4. 分類
分類演算法通過對已知類別訓練集的計算和分析，從中發現類別規則，以此預測新數據的類別的一類演算法。分類演算法是解決分類問題的方法，是數據挖掘、機器學習和模式識別中一個重要的研究領域。
5. 關聯
關聯規則學習通過尋找最能夠解釋數據變數之間關系的規則，來找出大量多元數據集中有用的關聯規則，它是從大量數據中發現多種數據之間關系的一種方法，另外，它還可以基於時間序列對多種數據間的關系進行挖掘。關聯分析的典型案例是「啤酒和尿布」的捆綁銷售，即買了尿布的用戶還會一起買啤酒。
6. 時間序列
時間序列是用來研究數據隨時間變化趨勢而變化的一類演算法，它是一種常用的回歸預測方法。它的原理是事物的連續性，所謂連續性是指客觀事物的發展具有合乎規律的連續性，事物發展是按照它本身固有的規律進行的。在一定條件下，只要規律賴以發生作用的條件不產生質的變化，則事物的基本發展趨勢在未來就還會延續下去。
7. 異常檢測
大多數數據挖掘或數據工作中，異常值都會在數據的預處理過程中被認為是「噪音」而剔除，以避免其對總體數據評估和分析挖掘的影響。但某些情況下，如果數據工作的目標就是圍繞異常值，那麼這些異常值會成為數據工作的焦點。
數據集中的異常數據通常被成為異常點、離群點或孤立點等，典型特徵是這些數據的特徵或規則與大多數數據不一致，呈現出「異常」的特點，而檢測這些數據的方法被稱為異常檢測。
8. 協同過濾
協同過濾（Collaborative Filtering，CF)）是利用集體智慧的一個典型方法，常被用於分辨特定對象（通常是人）可能感興趣的項目（項目可能是商品、資訊、書籍、音樂、帖子等），這些感興趣的內容來源於其他類似人群的興趣和愛好，然後被作為推薦內容推薦給特定對象。
9. 主題模型
主題模型（Topic Model），是提煉出文字中隱含主題的一種建模方法。在統計學中，主題就是詞彙表或特定詞語的詞語概率分布模型。所謂主題，是文字（文章、話語、句子）所表達的中心思想或核心概念。
10. 路徑、漏斗、歸因模型
路徑分析、漏斗分析、歸因分析和熱力圖分析原本是網站數據分析的常用分析方法，但隨著認知計算、機器學習、深度學習等方法的應用，原本很難衡量的線下用戶行為正在被識別、分析、關聯、打通，使得這些方法也可以應用到線下客戶行為和轉化分析。
Ⅳ 在大數據分析中機器學習通常用於什麼目的
在大數據分析中，機器學習的主要目的是從海量數據中自動提取有用的信息、模式和趨勢，以便進行預測和決策。
機器學習在大數據分析中的應用主要體現在以下幾個方面：
1. 數據分類與預測：機器學習演算法可以根據歷史數據訓練出分類模型或預測模型，用於對新數據進行分類或預測。例如，在信用卡欺詐檢測中，機器學習模型可以學習歷史上的正常交易和欺詐交易的模式，然後對新交易進行實時分類，以識別可能的欺詐行為。
2. 數據聚類：在無監督學習的情況下，機器學習演算法可以用來發現數據中的自然分組或聚類。這對於市場細分、客戶群劃分等問題非常有用。例如，電商網站可以利用用戶的購物歷史數據，通過聚類演算法識別出不同的用戶群體，以便進行個性化的商品推薦。
3. 特徵提取與降維：在大數據分析中，數據的維度往往非常高，直接處理既困難又耗時。機器學習演算法（如主成分分析、自動編碼器等）可以用來提取數據的關鍵特徵或降低數據的維度，從而簡化後續的分析過程。
4. 數據關聯與推薦：機器學習還可以用來發現數據之間的關聯規則或推薦項。這在零售業尤為常見，例如「啤酒與尿布」的經典案例就是通過關聯規則學習發現的。此外，現在的音樂、電影等娛樂平台也大量使用推薦演算法（如協同過濾、內容推薦等），根據用戶的歷史行為和喜好，為用戶提供個性化的推薦內容。
綜上所述，機器學習在大數據分析中的應用是多樣且廣泛的，它極大地提高了數據分析的效率和准確性，為現代社會的各個領域帶來了深遠的影響。