基于内容的协同过滤算法

A. 简要智能阅读中智能推荐的技术原理

智能推荐算法总的来说分为两种：基于内容的推荐算法和协同过滤推荐算法。

基于内容的推荐算法：

根据内容的相似度（静态的东西）进行推荐，内容不好提取的可以采取贴标签的形式来区分计算内容的相似程度。然后根据用户的喜好设置，关注等进行相似内容推荐。

协同过滤推荐算法：

根据动态信息来进行推荐，即推荐的过程是自动的，推荐结果的产生是系统从用户的购买行为或浏览记录等隐式信息拿到的，无需用户通过填表格等方式来明确自己的喜好。因为这些数据都是要读到内存中进行运算的，所以又叫基于内存的协同过滤（Memory-based Collaborative Filtering）,另一种协同过滤算法则是基于模型的协同过滤(Model-based Collaborative Filtering)；m个物品，m个用户的数据，只有部分用户和部分数据之间是有评分数据的，其它部分评分是空白，此时我们要用已有的部分稀疏数据来预测那些空白的物品和数据之间的评分关系，找到最高评分的物品推荐给用户。对于这个问题，用机器学习的思想来建模解决，主流的方法可以分为：用关联算法，聚类算法，分类算法，回归算法，矩阵分解，神经网络,图模型以及隐语义模型来解决。

（https://www.cnblogs.com/chenliyang/p/6548306.html）

而基于内存的协同过滤又有两种：

• 基于user的协同过滤(用户相似度):通过相似用户的喜好来推荐

• 基于item的协同过滤(内容相似度):通过用户对项目的不同评分推荐可能让用户打高评分的项目，是项目之间的相似度。

任何一种单一推荐算法都有缺点，我们在实际项目中，可以采用混合推荐算法，融合以上方法，通过串联并联等融合，构造出自己的一套推荐体系。

B. 个性化推荐算法——协同过滤

有三种：协同过滤
用户历史行为
物品相似矩阵

C. 信息流的那点事：3 推荐算法是如何实现的

讲完信息流流行的原因（ 信息流的那点事：2 为什么信息流如此流行 ），这一篇，我们来从产品的视角，来看看推荐算法在技术上是如何实现的。

根据需要的技术和运营成本，可以将主流的推荐算法分为三类：基于内容元数据的推荐、基于用户画像的推荐、基于协同过滤算法的推荐。

基于元数据的推荐是比较基础的推荐算法，基本原理是给内容打标签，具体元数据的选取根据的内容有所不同，比较通用的角度有内容的关键词、类型、作者、来源等，打开一款头条类app，选择屏蔽一条内容，就可以看到一些该内容的元数据。

有了内容的元数据，就可以根据内容间的关联，可以进行相关内容的推荐，喜欢看奇葩说的用户，可能也会喜欢看同是米未传媒出品的饭局的诱惑。根据内容的元数据，也可以记录并逐渐明确用户的内容偏好，进行数据积累，便于结合用户的喜好进行对应的精准推荐，这也就是下面要说的基于用户画像的推荐的内容。

用户画像，类比一下就是给用户打标签，主要由三部分组成：用户的基础数据（年龄、性别等）、应用使用数据（应用使用频率、时长等）和内容偏好数据（喜好的内容分类、种类等）。

对于基础数据，不同年龄的用户的内容偏好有很大差异，年轻人可能更喜欢新歌热歌，而中年人可能更爱听怀旧一些的歌曲；根据应用使用数据，可以进行用户分层，活跃用户可以多推荐内容促进使用，快要流失用户可以推送一些打开率较高的内容来挽回，运营活动也可以更有针对性；基于内容偏好数据，可以记录并逐渐明确用户的内容偏好，从而进行更精准的推荐，从爱看娱乐新闻，到爱看国内明星，再到爱看某个小鲜肉，随着内容偏好数据的逐步积累，头条类产品的推荐也就越精确。

协同过滤算法，简单来说，就是寻找相近的用户或内容来进行推荐，主要有基于用户的协同过滤推荐和基于项目的协同过滤推荐两种。

（1）基于用户的协同过滤推荐

基于用户的协同过滤推荐算法，就是通过算法分析出与你内容偏好相近的用户，将他喜欢的内容推荐给你，这种推荐给你志同道合的人爱看的内容的思路，更相近于生活中的朋友作为同道中人的推荐。举例来说，如果你喜欢ABC，而其他用户在和你一样喜欢ABC的同时，还都喜欢D，那么就会把D推荐给你。

（2）.基于内容的协同过滤推荐

基于内容的协同过滤推荐算法，就是通过算法分析出内容和内容之间的关联度，根据你喜欢的内容推荐最相关的内容，常见的看了这个内容的用户85%也喜欢xxx，就是这种思路。举例来说，如果你喜欢A，而喜欢A的用户都喜欢B，那么就会把B推荐给你。

相比于纯粹的基于内容元数据的推荐，基于内容的协同过滤推荐更能发现一些内容间深层次的联系，比如罗辑思维经常推荐各种内容，仅仅根据内容元数据来推荐，一集罗辑思维最相关的应该是另外一集，并不能推荐内容元数据相关性不太大的节目里推荐的内容；但由于可能很多用户看完后都会搜索查看节目里推荐的内容，基于内容的协同过滤推荐就会发现两者的相关性，进行推荐。

介绍推荐算法的思路时，我们一直谈到一个词“内容偏好”，这也就是实现推荐算法时一个核心的问题——需要通过怎样的数据，才能判定用户的内容偏好？主流的思路有一下三种：

让用户手动选择，显然是最简单的思路，然而由于选择的空间必然有限，只能让用户从几个大类中间挑选，无法涵盖全部内容的同时，粒度过大推荐也就很难精准。而且刚打开应用就让用户选择，或者是让用户使用一段时间后在去补充选择，这样的操作都太重可能造成用户流失。

既然手动选择很难实现，我们就需要从用户的使用数据中挖掘，主流的思路就是根据用户一些主动操作来判断，点击阅读了就说明喜欢，点了赞或者回复分享就是特别喜欢，如果跳过了内容就减少推荐，点击了不感兴趣，就不再推荐。

根据用户使用的操作来判断内容偏好，在不断地使用中积累与细化数据，对内容偏好的判断也就越来越准确，这就是头条系应用的主要策略，这样的策略对于下沉市场的不愿做出主动选择的沉默用户，是一个非常适合的策略，但这样只看点击与操作，不关注内容实际质量的策略也会造成标题党、内容低俗等问题，在后文会进一步介绍。

既然选择不能完全代表用户的内容偏好，如何使判断更加精准呢？就要从一些更加隐性的数据入手了，比如对于文章，除了点击，阅读时间，阅读完成度，是否查看文章的相关推荐内容，都是可以考虑的角度，相比纯粹的点击判断，可以一定程度上解决标题党的问题。再比如看视频，如果快进次数过多，虽然看完了，可能也不是特别感兴趣，而值得反复回看的内容，命中内容偏好的几率就相对较高。

介绍完了推荐算法的原理与数据来源，让我们来试着还原一下一条内容的完整分发流程。

首先，是内容的初始化与冷启动。可以通过算法对内容进行分析提取或者人工处理，提取内容的来源、分类、关键词等元数据，再根据用户画像计算内容兴趣匹配度，分发给有对应内容偏好的用户，,也可以通过内容原匹配度,向关系链分发,完成内容的冷启动。

然后，可以根据用户阅读时间，阅读完成度,互动数等数据，对该内容的质量进行分析，相应的增加或者减少推荐,实现内容动态分发调节。

最后，就是协同过滤算法发挥作用的时间，对于优质内容，可以通过基于用户的协同过滤推荐，推荐给与该内容受众有类似爱好的用户，也可以基于项目的协同过滤推荐，推荐给爱观看同类内容的用户,让优质内容的传播不在局限于关系链。

在真正的推荐算法实现过程中，除了基础的内容原匹配度,内容匹配度和内容质量,还有很多值得考虑的问题，比如新闻通知等时效性内容就要短时间加权，超时则不推荐；对于用户的内容偏好也不能永远维持，随着时间用户可能会喜欢新的内容，如果一定时间内用户对以前喜欢的内容不感兴趣，就要减少该种类推荐；还有为了不陷入越喜欢越推荐，最后全部是一种内容，让用户厌烦的境地，对于用户的偏好也要设定一个上限；为了保持新鲜度，需要帮助用户发现他可能喜欢的新内容.....

最后，通过数据可以了解我们如何阅读这篇文章，但任何数据都无法准确描述我们阅读后的感受与收获；再高级的算法也只是算法，它虽然可能比我们更了解我们实际的的内容偏好，但无法了解到我们对于内容的追求。

这可能也就是头条系产品虽然收获了巨大成功，但也收到了标题党、低俗化、回音室效应等指责的原因，下一篇，让我们来聊聊，信息流产品的面临的问题与可能的解决方法。

D. 利用 SVD 实现协同过滤推荐算法

奇异值分解(Singular Value Decomposition，以下简称SVD)
是在机器学习领域广泛应用的算法，它不光可以用于 降维算法中的特征分解 ，还可以用于 推荐系统 ，以及自然语言处理等领域。

优点： 简化数据，去除噪声，提高算法的结果。
缺点： 数据的转换可能难以理解。

应用领域： 推荐引擎（协同过滤、相似度计算）、图像压缩等。

SVD定义： 如果我们求出了矩阵A的n个特征值λ1≤λ2≤...≤λn，以及这n个特征值所对应的特征向量{w1,w2,...wn}，如果这n个特征向量线性无关，那么矩阵A就可以用下式的特征分解表示：A=WΣW−1，其中W是这n个特征向量所张成的n×n维矩阵，而Σ为这n个特征值为主对角线的n×n维矩阵。一般我们会把W的这n个特征向量标准化，即满足||wi||2=1, 或者wiTwi=1，此时W的n个特征向量为标准正交基，满WTW=I，即WT=W−1, 也就是说W为酉矩阵。要进行特征分解，矩阵A必须为方阵。那么如果A不是方阵，则用到SVD。

矩阵A的SVD为：A=UΣVT，其中U是一个m×m的矩阵，Σ是一个m×n的矩阵，除了主对角线上的元素以外全为0，主对角线上的每个元素都称为奇异值，V是一个n×n的矩阵。U和V都是酉矩阵，即满足UTU=I,VTV=I。

对于奇异值,它跟我们特征分解中的特征值类似，在奇异值矩阵中也是按照从大到小排列，而且奇异值的减少特别的快，在很多情况下，前10%甚至1%的奇异值的和就占了全部的奇异值之和的99%以上的比例。也就是说，我们也可以用最大的k个的奇异值和对应的左右奇异向量来近似描述矩阵。

因此SVD 也是一种强大的降维工具 ，可以利用 SVD 来逼近矩阵并从中获得主要的特征。通过保留矩阵的 80%~90% 的能量，就可以得到重用的特征并去除噪声。

推荐系统 是利用电子商务网站向客户提供商品信息和建议，帮助用户决定应该购买什么产品，模拟销售人员帮助客户完成购买过程。
主要有以下几种推荐算法：
基于内容的推荐（用到自然语言处理）， 协同过滤（主流） ，基于规则推荐（基于最多用户点击，最多用户浏览等），混合推荐（类似集成算法，投票决定），基于人口统计信息的推荐（根据用户基本信息）

协同过滤推荐分为三种类型。 第一种是基于用户(user-based)的协同过滤（需要在线找用户和用户之间的相似度关系），第二种是基于项目(item-based)的协同过滤（基于项目的协同过滤可以离线找物品和物品之间的相似度关系）， 第三种是基于模型(model based)的协同过滤（用户和物品，主流）。

一般在推荐系统中，数据往往是使用 用户-物品 矩阵来表示的。 用户对其接触过的物品进行评分，评分表示了用户对于物品的喜爱程度，分数越高，表示用户越喜欢这个物品。而这个矩阵往往是稀疏的，空白项是用户还未接触到的物品，推荐系统的任务则是选择其中的部分物品推荐给用户。

对于这个 用户-物品 矩阵，用已有的部分稀疏数据来预测那些空白的物品和数据之间的评分关系，找到最高评分的物品推荐给用户。

具体基于模型的方法有：
用关联算法做协同过滤（Apriori算法、FP Tree算法）
用聚类算法做协同过滤（针对基于用户或者基于模型，Kmeans，DBSCAN）
用分类算法做协同过滤（设定评分阈值，高于推荐，低于不推荐，逻辑回归和朴素贝叶斯，解释性很强）
用回归算法做协同过滤（Ridge回归，回归树）
用矩阵分解做协同过滤（由于传统的奇异值分解SVD要求矩阵不能有缺失数据，必须是稠密的，而用户物品评分矩阵是一个典型的稀疏矩阵，主要是SVD的一些变种，比如FunkSVD，BiasSVD和SVD++。这些算法和传统SVD的最大区别是不再要求将矩阵分解为UΣVT的形式，而变是两个低秩矩阵PTQ的乘积形式。）
用神经网络做协同过滤（限制玻尔兹曼机RBM）

在 Python 的 numpy 中，linalg已经实现了SVD

E. 协同过滤算法属于自然语言处理方向吗

协同过滤算法是这一领域的主流。作为基于内容的算法执行方式，协同版过滤在准确性上具有相权当的优势，但无法冷启动、推荐同质化和运算效率低使其依然存在很多不足。
协同过滤算法的名称来源于化学上的过滤操作。
原理
利用物质的溶解性差异，将液体和不溶于液体的固体分离开来的一种方法。如用过滤法除去粗食盐中少量的泥沙

过滤实验仪器
漏斗、烧杯、玻璃棒、铁架台（含铁圈）、滤纸。

过滤操作要领
要做到“一贴、二低、三靠”。
一贴
即使滤纸润湿，紧贴漏斗内壁，中间不要留下气泡。（防止气泡减慢过滤速度。）
二低
1．滤纸边缘略低于漏斗边缘。
2．液面低于滤纸边缘。（防止液体过滤不净。）
三靠
1．倾倒时烧杯杯口要紧靠玻璃棒上。
2．玻璃棒下端抵靠在三层滤纸处。
3．漏斗下端长的那侧管口紧靠烧杯内壁。

过滤注意事项
1．烧杯中的混合物在过滤前应用玻璃棒搅拌，然后进行过滤。
2．过滤后若溶液还显浑浊，应再过滤一次，直到溶液变得透明为止。
3.过滤器中的沉淀的洗涤方法：用烧瓶或滴管向过滤器中加蒸馏水，使水面盖没沉淀物，待溶液全部滤出后，重复2~3次。
希望我能帮助你解疑释惑。

F. 协同过滤，基于内容推荐有什么区别

举个简单的小例子，我们已知道
用户u1喜欢的电影是A，B，C
用户u2喜欢的电影是A, C, E, F
用户u3喜欢的电影是B，D
我们需要解决的问题是：决定对u1是不是应该推荐F这部电影
基于内容的做法：要分析F的特征和u1所喜欢的A、B、C的特征，需要知道的信息是A（战争片），B（战争片），C（剧情片），如果F（战争片），那么F很大程度上可以推荐给u1，这是基于内容的做法，你需要对item进行特征建立和建模。
协同过滤的办法：那么你完全可以忽略item的建模，因为这种办法的决策是依赖user和item之间的关系，也就是这里的用户和电影之间的关系。我们不再需要知道ABCF哪些是战争片，哪些是剧情片，我们只需要知道用户u1和u2按照item向量表示，他们的相似度比较高，那么我们可以把u2所喜欢的F这部影片推荐给u1。
根据数据源的不同推荐引擎可以分为三类
1、基于人口的统计学推荐(Demographic-based Recommendation)
2、基于内容的推荐(Content-based Recommendation)
3、基于协同过滤的推荐(Collaborative Filtering-based Recommendation)
基于内容的推荐：
根据物品或内容的元数据，发现物品或内容的相关性，然后基于用户以前的喜好记录推荐给用户相似的物品
基于内容推荐的一个典型的例子，电影推荐系统，首先我们需要对电影的元数据有一个建模，这里只简单的描述了一下电影的类型；然后通过电影的元数据发现电影间的相似度，因为类型都是“爱情，浪漫”电影 A 和 C 被认为是相似的电影（当然，只根据类型是不够的，要得到更好的推荐，我们还可以考虑电影的导演，演员等等）；最后实现推荐，对于用户 A，他喜欢看电影 A，那么系统就可以给他推荐类似的电影 C。