网站中的文本相似度至关重要。
识别网站内容的相似度异常关键。
在今日头条平台，用户反馈了大量问题。其中，用户最常询问的是：为何系统总推荐一些重复的内容？需要指出的是，不同用户对“重复内容”的理解差异显著。例如，用户阅读娱乐八卦类文章时，若发现内容与昨日浏览过的文章高度相似，便会视其为重复推送。为解决此问题，我们必须精准判断文章的相似性，分析其主题
此外，文章通常蕴含时空特征。这些特征对于分析内容发生的地点及其时效性帮助巨大。试想，将上海发生的热点事件推送给广州用户，意义就十分有限。同时，文本分析的最后阶段，我们还需引入质量相关特征。其目的在于识别文章内容性质——是低俗信息、软文推广，还是心灵鸡汤。
理解语义标签的特征及其适用场景同样重要。需明确，语义标签体系内部存在不同层级与要求。
分类体系的核心目标在于全面覆盖。我们期望网站内的每篇文章、每个视频都能准确分类。实体体系要求更高的精确度，要知道，相同的名称或内容可能指向不同的人或物，覆盖范围也未必全面。而概念体系，则主要解决那些相对精确但较为抽象的语义表达。这些构成了网站内容分类的基础框架。
目前，隐式语义模型已能有效助力推荐系统。语义标签则需持续标注，新名词、新概念层出不穷，标注工作必须不断迭代更新。相较之下，构建高质量语义标签体系的难度与资源投入远超隐式语义模型。那么，为何仍需语义标签？核心在于产品需求。例如，内容频道需要明确定义的分类体系以及易于理解的文本标签。正是语义标签的实际效果，成为检验一家公司NLP技术水平的试金石。
今日头条推荐系统的线上分类，采用了典型的层次化文本分类算法。其结构自顶向下：最顶层为Root节点；第一层是科技、体育、财经、娱乐等大类；体育类下再细分足球、篮球、乒乓球、网球、田径、游泳等子类；足球类下进一步细分为国际足球、中国足球；中国足球又包含中甲、中超、国家队等更细分类。相较于单一分类器，层次化文本分类算法能更有效地缓解数据倾斜问题。为提高召回率，系统还设计了一些特殊的“飞线”连接。这套架构具有通用性，但针对不同难度的分类问题，底层元分类器可异构组合——某些分类任务SVM效果优异，有些则需结合CNN，还有些需引入RNN进行再处理。
实体词识别算法的一个典型案例如下：首先基于分词结果和词性标注筛选候选词；期间，可能需要借助知识库进行词语拼接（因部分实体由多个词组合而成）；接着，需确定哪些词的组合能准确映射到实体描述；若候选结果映射到多个实体，则需通过词向量相似度、主题分布差异甚至词频本身进行消歧；最终，通过一个相关性模型完成计算。