它已有12个月以来谷歌宣布了一个名为BER？生产寻找新的更新和不应该有惊喜最近搜索开事件，对生产BERT的第一个生日前夕几乎下降，包括使用一种I和巨大的进步这么多的议论和突破在过去的一年BERT。
总括来说，谷歌的BERT 2019年10月更新的本意是帮助谷歌更好地了解和查询内容，通过的“这个词的意思是”更深入的了解多义性的多义词的细微差别机器学习更新（上下文）。 最初的更新的影响英文查询以及特色的片段只有10％的领土，他们出现。
重要的是，最初的BERT搜索更新是为消除歧义为主，以及文本提取和概要的精选片段。 消歧方面主要应用于句子和短语。
在BERT生产的搜索公告一个月左右的时间，铺开开始更多的国家，虽然仍然只影响查询的10％，在所有地区。
最初，2019年10月宣布在小号EO界引起了不小的轰动，这不仅是因为，根据谷歌，宣布BERT时，更新表示，在过去五年中“最大的飞跃，并在历史前进的最大飞跃之一搜索。“
这显然是因为RankBrain最重要的公告，并没有夸张 – 不只是对网络搜索的世界。 过程中的自然语言理解（学习的一个半世纪的老区域）领域中的前12个月与BERT的发展，可以说已经搬到学习收获着更多在一年比前50组合。
这样做的原因是另一个BERT – 由谷歌研究人员d？vlin等2018年学术文章，题为“BERT：深双向变压器对语言理解前培训。“请注意，我在这里引用一些学术论文。您将在本文的末尾找到的来源和资源的列表
BERT（纸），随后是开源的，让其他机器在学习型社区建设，和无疑仍是相当大的贡献世界的戏剧性计算语言学的理解进展。
BERT的基本思路是它采用双向词的上下文窗口从一个大的文本集合使用变压器“关注”机制，以便看到所有的话到左边和（恩维基百科和BookCorpus）前培训在滑动上下文窗口的目标的右同时更大的上下文。
一旦训练完毕，BERT可以作为一个基础，在其他更精细的任务，然后微调，其中大部分研究主要集中在下游的自然语言理解和问题和回答。
由于上下文窗口的范围是我为了说明给出了一个示例的一个重要概念：
如果上下文窗口为10个字长和目标词是在第6位在10个字滑动“上下文窗口”，不仅可以看到BERT话1-5的左侧，而且的话7-10在正确的使用注意“字对”平方的同时。
这是一个很大的进步。以前的型号是单向的，这意味着他们只能看到1-5字的左边，而不是7-10，直到他们达到了滑动窗口的那些话。 使用该双向性质和同时注意对于给定的字完整的上下文（当然该窗口的长度的限制内）。
例如，“银行”字样有不同的理解，如果上下文窗口内换言之还包括“河”或“钱。银行“的背景下，窗口中添加的含义和突然的共同出现的词”“被理解为是一个”金融银行“或”河岸。“
十月252019，生产搜索公告之前，什么曾在语言研究界一个狂热的BERT为重点的一年。
在2018年至2019年之间的时间命名的BERT款型芝麻街人物的各种形式出现，包括摇奖，从百度。Facebook和微软也忙于建设BERT般的车型，并在每个转弯提高对BERT。Facebook的声称他们的ROBERTA模型只是BERT的更有力的培训版本。（微软称，它已经被使用在BinG BERT自四月2019）
大型科技AI队伍在各种机器一举超越互相学习语言任务排行榜，最受欢迎他们当中的球队（斯坦福答问数据集），胶水（通用语言理解评估），以及RACE（阅读理解从评价）； 跳动的人类语言理解的基准，因为他们去。
虽然SEO世界上BERT的话题一直是安静的晚期（直到这个月），热情周围BERT深学习和自然语言处理世界已经加快了，而不是在2020年减弱。
二千〇二十〇分之二千〇一十九在人工智能和自然语言理解的发展应该绝对让上市公司增发了他们的BERT，跟踪游戏一次。 特别是在本周的事态发展，特别是以下从谷歌的搜索公告在网上活动。
重要提示之前，我们继续：
“BERT样” – 一个描述性词语前培训的“语言”的大型未标记文本模型，然后通过使用一系列更精细的任务变压器技术，以微调模型中使用迁移学习。
虽然2019年谷歌更新被称为BERT，它更可能现在在搜索和机器学习语言领域的部分整体，而不是说每一个单一算法更新，因为BERT使用方法的引用，BERT样，甚至在2019年在机器学习语言的世界中成为闻名几乎形容词。
“近年来，随着人工智能的进步，我们正在做的更大飞跃比我们看到在过去的十年改进谷歌，所以它更容易为你找到你要找的，”普拉巴卡尔拉加时说最近的搜索打开事件。
他不夸张，因为谷歌透露了一些令人兴奋的新功能即将很快搜索，包括改进误拼写算法，会话代理，图像技术，哼着歌谷歌助理。
大新闻也对BERT使用前。在使用一个巨大的增加，从查询的只有10％，英语几乎每一个查询。
除了从BERT使用扩展的消息，尤其是另外一个公告鞭打SEO世界成一个狂热。
的“通道索引”的话题，其中谷歌的排名将和显示来自网页和文档的部分特定通道以响应某些查询。
谷歌的拉加解释说：
一个例子被提供以示出即将改变的效果。
“随着我们的新技术，我们就可以在网页上更好地识别和理解关键通道。这将帮助我们的表面，可能会考虑一个页面只能作为一个整体时，否则不被视为相关内容 。。。。“谷歌上周解释。
换句话说，一个很好的答案很可能是在另外的广泛主题文档，或随机导语页面在一个单一的通道或段落中，而完全不看重。 考虑许多博客文章和意见件，例如，其中有很多种，有很多不相关的内容，或混合的主题，在不断增加内容的仍然在很大程度上非结构化数据和不同的网络。
该“通道索引”公告引起了SEO界一些混乱与几个最初解释改变为“索引”一。
一个自然的假设，使起名字“通道索引”暗示 。。。ERM 。。。“通道”和“索引。“
当然有些SEO质疑个别段落是否会被添加到索引，而不是单独的页面，但并非如此，看来，因为谷歌已经明确了即将更新实际上涉及到一个通道的排名问题，而不是一个索引问题。
“我们已经在最近的排名取得了突破性进展，现在能够不只是索引的网页，但网页个别段落，”拉加解释。“通过更好地了解特定通道的相关性，而不仅仅是整个页面，我们可以发现你正在寻找针在-A-草垛信息。“
这种变化是关于排名，而不是每说索引。
虽然只有7％的查询将在初始转出受到影响，这个新通道索引系统的进一步扩大可能有更大的内涵比人们首先怀疑。
毫不夸张地说，一旦你开始从自然语言研究在过去的一年里探索文学，你意识到这种变化，而相对不重要的第一个（因为它只会影响之后的所有查询的7％），可能有潜在的实际变化如何搜索排名整体工作向前发展。
我们将看看这些发展都和可能出现下一个是什么。
希望更多的像我们下面探讨，因为我们需要深入挖掘和头回BERT，在NLP AI的进展密切相关，BERT左右大的发展，并在排名世界研究在去年的景观将变得清晰。
下面的信息大多是从最近的研究论文和会议记录导出（包括谷歌的搜索引擎的研究无论是在谷歌的工作之前，或同时在谷歌工作），信息检索世界各地，（在基础领域，其中网络搜索是其中的一部分）。
凡论文引用我已经加入了作者与去年尽管这是一个在线的文章，言辞避免感知。这也说明更清楚一些已经发生了某种时间表和进度导致到的指示，并通过2019年和2020年的大变化。
自从2019年10月宣布，已BERT跨各个深度学习研究行业排行榜功能无处不在。而且不只是BERT，但许多BERT般的车型在扩展或使用BERT般的变压器架构。
然而，有一个问题。
BERT和BERT般的车型，而令人印象深刻的，通常是令人难以置信的计算量很大，因此，财政昂贵的火车，并包括在完整的生产环境中的规模排名，使得2018版BERT在大型商业搜索一个不切实际的选择引擎。
最主要的原因是BERT工作过变压器技术，它依赖于自我关注机制，使每个字都从在同一时间看到它周围的话获得上下文。
“在10万个字的文本的情况下，这将需要100？的评估X 100K字对，或10十亿对每一个步骤，”每个谷歌今年。在BERT世界这些变压器系统正变得无处不在，但在BERT的注意机制这个二次依赖性问题是众所周知的。
更简单地说：添加到序列中的更多的话，更多的单词组合需要在一次训练中侧重于所有获得一个单词的完整的上下文。
但问题是“越大越好肯定是”当谈到训练这些模型。
事实上，即使雅各德夫林，在谷歌BERT此演示文稿原BERT作者之一肯定有滑动话说模型大小的影响； “大车型有很大的帮助。“
大BERT款型大多都似乎在SOTA（国家艺术），以提高基准测试，只是因为他们比以往更大的竞争者。 几乎像“摩天大楼SEO”我们知道这是对识别竞争者有哪些已经和“上（尺寸或功能），抛出其他楼层”击败简单地做更大的东西，或更好。以同样的方式，越做越大BERT般的模型已经仅仅为了打败以前的型号增加更多的参数和训练更多的数据开发。
最令人印象深刻，这些巨大的模型的（我。e。那些击败SOTA（国家艺术）的各种学习机排行榜上往往是研究团队的工作，在巨大的高科技公司，主要是微软（MT-DNN，图灵NLG），谷歌（BERT的喜欢， T5，XLNet），脸谱（罗伯塔），百度（ERNIE）和开放AI（GPT，GPT-2，GPT-3）。
微软的图灵NLG最近相形见绌所有先前的模型作为一个17十亿参数语言模型。它在Bing的自动提示和其他搜索功能使用。的参数数量的图像中示出如下，并显示图灵NLG相比一些其他行业模型。
（图片来源：拥抱脸）
GPT-3
即使是17个十亿参数是什么时OpenAI 175个十亿参数语言模型GPT-3相比，虽然。
谁也不会忘记对GPT-3设计，震撼的耸人听闻2020九月卫报件，题为“整篇文章的作者是一个机器人。你害怕是人世间？“
在现实中，这是大规模地只是下一个句子的预测，但外行人不知道正在进行中的自然语言的发展空间，这也难怪这篇文章就碰上了这样一个乱哄哄。
谷歌T5
谷歌的T5（文本到文本传输变压器），（更近的基于变压器的语言模型比BERT），在2020年2月发布，有区区11个十亿参数。
这是尽管谷歌的研究小组在一个文本集合被预先训练的，由数十亿个网页的约会从普通爬回至2011年PB级的一个巨大网络爬虫组成的，恰当地命名为C4，因为四C中的名称为“庞清洁爬语料库，由于其大小。
但随着大和令人印象深刻的机型自带费用。
培训SOTA AI模式的惊人成本
在一篇题为“培训SOTA（最先进的）AI模式带来巨大的成本，”已同步审查探讨参与培训的一些较新的SOTA NLP AI模型与数据从几百每小时（和培训可以可能需要的费用需要几个小时），几十万训练模型总成本。
这些费用已经是许多讨论的主题，但它已被广泛接受，无论第三方估计的精度，所涉及的费用是敲诈
埃利奥特·特纳（由IBM华生收购）AlchemyAPI创始人推测训练的成本XLNet（Yang等al2019），谷歌脑团队和卡内基·梅隆在2020年发布的月份之间的合并工作，是为$ 245，000的区域。
这引发了不少讨论，在Twitter上，到甚至连谷歌AI的杰夫·迪恩插话与鸣叫表示偏置谷歌是在可再生能源的形式促进了这一点：
而在此说谎的问题，并且可能原因BERT只在查询的10％由谷歌在推出产品在2019年时，尽管领土扩张。
生产水平BERT样模特们无论从计算和财务的角度colossally昂贵。
变压器限制
还有一个挑战太与实际比例BERT样的模型以及涉及到可用序列的长度，以保持词的上下文。 这在很大程度上是依赖于上下文窗口多大变压器架构。
单词的上下文的变压器窗口的大小是至关重要的，因为“上下文”只能考虑的话那个窗口的范围之内。
欢迎光临“改革者”
若要在2020年一月在变压器方面的窗户可用大小改善的帮助下，谷歌推出了“重整：能干的变压器。“
从谷歌有权AI语言模型改革者可以处理小说的整体早期2020 VentureBeat的文章：“。。。变压器是没有任何延伸完善 – 它扩展到更大的环境中，使明显的局限性。使用大窗口的应用程序有内存需求从千兆字节到数TB大小，这意味着模型只能摄取文字的几段或产生的音乐小品。这就是为什么谷歌今天推出了重整，变压器的演变它的设计最多的手柄方面的窗户1万个字。“
谷歌今年解释变压器的基本不足同在博客中关于上下文窗口：“变压器的力量来自关注，其认为上下文窗口中的所有可能的对单词的过程中，了解它们之间的连接。100K的话，在10万个字的文本的情况下，这将需要评估X 100K字对，或每一步，这是不切实际的10十亿双。“
谷歌首席AI杰夫院长曾表示，更大的范围内将是谷歌的工作向前发展的主要焦点。“我们仍然希望能够做的模型更上下文种，”他说。“就像现在BERT等车型上几百字的工作很好，但不是10000个字作为上下文。所以这是样的[一]有趣的发展方向，“迪安告诉VentureBeat的十二月。
谷歌也普遍承认的弱点在目前的排名系统（从变压器或重整的机型为主，甚至除外），关于不再满足在其跟进有关过去的这个星期的新通道索引发展的澄清微博：
“通常情况下，我们评价一个网页上的所有内容，以确定它是否与查询相关的。但有时网页可能会很长，或多个主题，这可能会冲淡页面的某些部分是如何相关的特定查询 。。。。“该公司表示，。
在BERT的计算限制，目前512级的令牌，使得BERT样模型不可行的事情长于通道。
所以，虽然BERT可能在现实中是一个“不错的，”在它的二千零十九分之二千零一十八格式是不现实的解决方案，以帮助大型自然语言理解和充分的在网络搜索排名，并真的只有在最常用细致入微与句子和短语多种含义的查询，并且肯定不会在任何规模的。
在整个2019年和2020年出现了一些大的飞跃，旨在使BERT型技术有用得多比一个令人印象深刻“很高兴有。“
大鸟，Longformer和ClusterFormer
由于大多数性能问题似乎是围绕变压器这二次的依赖，其对性能的影响和费用，最近的作品力求把这个二次依赖性线性的，最突出的在他们之中Longformer：长文档变压器（Beltagy2020）和谷歌的大鸟（查希尔等al2020）。
大鸟论文摘要上写着：“建议稀疏注意可以使用类似的硬件处理长度达序列的什么以前可能8X。至于处理较长的上下文的能力的结果，BigBird大大提高了在各种自然语言处理任务，比如问答和总结性能。“
也不甘示弱，在十月中旬，微软的研究人员（w ^ang等al2020）介绍了他们的论文在集群前。该集群的前模特是SOTA在谷歌的自然问题“龙回答”排行榜。这两种机型还寻求解决与长期形成的内容限制。
此外最近（October2020），谷歌，剑桥，DeepMind和阿兰·图灵研究所之间的联合研究结果发表于解决与整体的题为变压器架构的效率和规模的问题“与表演反思注意”（Choromanski等人2020年） ，提出一个完整的重访中注意机制的工作的根本途径，旨在削减变压器型车型的成本。
已同步审查报告了这一对22020十月。
但是，这些都是非常，非常近件作品，并有可能远太新，对通道索引运行状况备受即将来临的撞击（现在），所以，他们“可能”不是哪个谷歌宣布通道索引时提及突破。
肯定会有长篇内容模型，如大鸟和ClusterFormer并在BERT等人的喜欢长文档显著的改善之间的滞后性，在生产中搜索。
所以，就目前看来自然语言研究者和搜索引擎不得不工作，比长表格内容短序列（E。g。代）。
所以，回到目前的情况。
许多在2019年和2020年的重点似乎一直在解决NLP模型的悬案地区雅各布·德夫林在他的演讲中引用的是我前面提到的。这些是：
模型最小化总培训费用VS。精度在现代硬件。模型是非常有效的参数（E。g。移动部署）。这代表了潜在的空间知识/上下文模型。表示的结构化数据模型（例如。g。知识图）。模型代表共同愿景和语言。
虽然有几个周围BERT在列表中，特别是知识图，本文的重点领域一直工作中，我们要继续探索培训费用和参数效率点德夫林逐项。
德夫林的名单上的第一个项目已经看到进展良好，大量的研究致力于在生产环境中创建能够更加经济地使用，并可能可行的模型。
更高效的车型
虽然2020看到了一波较大的车型出现，几乎同时一波更有效的，蒸BERT般的出现之间的研究机构，旨在同时也减少支出效益最大化保留机型的效率有关。
DistilBERT，ALBERT，TinyBERT和ELECTRA：最大增益损失降到最低
的效率改进显著的例子包括拥抱Face的DistilBERT，谷歌的艾伯特（一精简版BERT）和TinyBERT（其中知识是从一个大的老师BERT转移到小的学生BERT教师/学生类型BERT模型（TinyBERT）。 谷歌推出ELECTRA过，灵活运用不同类型的面膜技术，显着提高性能，同时又保持了大部分效力。
据谷歌AI，“ELECTRA使用少于当罗伯塔的上胶自然语言理解的基准性能和XLNet匹配 ？ 他们的计算，并实现了对球队答疑基准国家的先进成果。 这些改进是作为利用更有效的方法比掩蔽字的15％的训练BERT模型，这是非常昂贵的计算时的结果。“
上述各改编得多比原来的BERT模式更有效，在效力损失降到最低。
研究工程师和免费数据的“军队”
另一个推动进步来在整个研究团体的形式再次占用的挑战（字面）参与提高机器语言理解。
但愿意参与者需要数据来训练更好的模型。
作为德夫林在他的演讲说，他相信“在NLP近期的改善将主要有关使巧用‘免费“数据。“
虽然有越来越多源充足的免费数据集周边的数据科学家利用（想想Kaggle在2017年收购了谷歌）为例； 可以说是最大的数据科学家社区百万注册用户在进行机器学习竞赛）。然而，“真实世界”类型“真正的”自然语言的研究，基于现实的日常网络和查询特别少等数据。
然而，“免费”自然语言数据的来源正在增长，而现在有好几种，很多有天赋的自然语言研究领域中的数据是通过搜索引擎来刺激研究。
MSMARCO（微软）
自2016 MSMARCO数据集已经进行微调模型的主要训练一个。
微软的MSMARCO，最初是从真正100000个的问题和答案的数据集匿名Bing搜索引擎和柯塔娜助手查询提交申请，但是已经扩大十倍到超过100万的问题和答案。此外，MSMARCO的功能已经扩展到包括超出一般的自然语言理解和答问任务额外的培训任务。
谷歌自然问题（谷歌）
像MSMARCO，谷歌有自己的自然语言问题和答案集真实用户查询组成，以谷歌的搜索引擎，排行榜和任务承接一起，被称为“谷歌自然问题。“
在谷歌自然的问题，研究人员必须培养他们的模型在维基百科一个段落找到既具有悠久的答案，一个简短的回答之前先阅读整个页面。（可视化下）
TensorFlow C4数据集 – 庞清洁抓取
最近的一个数据集是C4（共抓取的庞清洁抓取）引入T5时，前面提到的。 虽然原来的BERT的语言训练前为2。在英文维基百科和BookCorpus（800万个字）5个十亿话，语言维基百科并不代表日常自然语言的，因为远在网络的少由相同的半结构化以及联结构。 C4需要通过现实世界的自然语言训练前的东西更类似于现实和用于预先列车谷歌的T5模型。
C4清洁庞抓取数据集是一个“巨大的” PB级的数十亿的常见抓取的页面大小的爬行（以下简称“实网”自2011年以来的巨大样本），清洁样板的组成（脏话，JavaScript的通知，代码和其它这样的干扰以去除“噪声”）。同样，数据集清洗别人学习的榜样后，可用。
NLP许多研究已经切换到通道和排名
通过检索和排名已经成为研究最喜爱的领域之一，在过去几年中。
检索的文件，AKA通道检索，或子文件检索部分，在信息检索是不是新的，因为这样的。 请参见下面的示例性信息检索子文档检索系统专利的图像从1999年的方式回到。（埃文斯，1999年）
我们也可以从2008年发现IR研究论文和早前通道排名的话题，例如“重新排列搜索结果的使用文档通道图”（Bendersky等，2008），并且肯定会有更多的。
我们还可以看到段检索是与YouTube上的视频在研究早期2018的活动区域：
你会看到实体的所有“功能的通道排名”中，虽然上面的截图恰恰是基于各地的“罪状”，正克，查询词（关键字），和字，字，词。 关键词无处不在。
但是，这是在2018年6月，以便有可能是很多要紧的2018年6月与目前的特征的权重之间的差异。
。。。那就是前BERT。
BERT是一个很大的贡献通道排名研究的热情，可能是由于与Bert的变压器架构效率低下和长度的限制上述问题。
“正如我们已经广泛讨论，BERT有许多原因与输入序列的麻烦比512个长令牌。显而易见的解决方案，当然是文字分成段落。“（Lin等al2020）
但也有另一个原因，通过排名已经成为研究人员BERT流行的机器学习活动。
MSMARCO的通道排行任务及排行榜
自从2018十月通道排名上MS MARCO任务和相关的排行榜一直存在，并且吸引了大量条目从语言研究者，包括那些在各大高科技公司，如Facebook，谷歌，百度和微软。
事实上，仅在过去的一周，因为MS MARCO在Twitter上宣布，他们即将退休的问题和回答的任务排行榜很快就因为在目前这方面的进展有限，并强调他们将保持通道以来，在地方排名的任务是将焦点现在。
在MS MARCO通道排名任务的8的数据集。800万个通道提供。
按照MS MARCO网站：
“上下文通道，从数据集中的答案被导出，从真正的web文档中使用Bing搜索引擎的最先进的提取版本。要查询的回答产生人，如果他们能概括的答案。“
通道排行任务被分成两个部分。
通道重新排序：给定一个候选人排名前1000名的通道由BM25，重新排名通道作为检索按相关性。通道完全排名：鉴于8语料库。8米通道生成候选顶部1000通道依相关程度排序。
而且，现在给我们带来了很好的到排名的突破，可能这是由谷歌在搜索引用在过去的这一周。
这可能不只是通道排名本身，这是突破谷歌表示，而是突破通道的排名，发现作为段落检索研究空间很多活动的副产品，以及来自新的创新等“小说”的调查结果这项研究当前谷歌联合接近排名（E。g。学习等级（LeToR）与TensorFlow为例），再加上充足的发展计划内自己的研究团队分开，通过具体的排名，并在AI行业整体的改进。
例如，ROBERTA（更鲁棒训练BERT），和ELECTRA（Google2020）与其更有效的掩蔽技术。还有其他大的突破也一样，我们会在短期内。
以同样的方式研究团体在船上跳下用问题和回答和自然语言理解的整体，有导致BERT和朋友反复的改进，所以现在也大重点是提高效率和效益的排名，并特别强调在通道。
通道都是后BERT约束范围内，因为它很容易小砍较长的文档分成几块。
它看起来像有很显著的发展。
为了更全面地了解进展情况，我们需要看看如何排名系统的工作作为一个整体的行业标准，因为它不是一件简单的事情作为一个从它似乎索引取。
在两个阶段的排名有第一全排名（初始的所有文档的排名），然后重新排序（只是一个从第一级的选择的顶部结果的第二阶段）。
在信息检索（和网页搜索），两个阶段的排名大约是首先检索收集了大量的使用一个简单的，经典的检索算法，如BM25，或查询扩展算法，学习等级算法，或者一个简单的分类文件途径。
第二级，然后以更高的精度和更资源过度的顶部检索结果的列表从所述第一阶段中进行的，有可能使用神经重新排序器。
我们没有走多远通过研究文献发现阶段排名系统两（或多级）的许多确认为行业标准。
需要注意的是BM25代表最佳匹配25算法通常优于人们经常谈论的TF：IDF，并且是如此命名是因为它是在一个特定的排名算法类型25日尝试这对当时的任务的最佳匹配（琐事）。
虽然我们不能确定谷歌和其他搜索引擎使用BM25当然，以任何名义，对于那些有兴趣了解ElasticSearch提供BM25算法的一个很好的概述。然而，它仍然是教许多在一定程度上使相关信息检索讲座。
在生产中搜索的情况下，则可能是远远超过简单的BM25整体更加先进，但可能是更先进和昂贵的资源，在第二阶段中使用，而不是最初取。从兵弗雷德里克Dubut证实兵使用LambdaMART这是很多搜索引擎的学习排名算法（虽然他没有发表评论，这是否是在第一阶段或排名，或者所有排名阶段的第二阶段）。论文撰写由谷歌州的研究人员：“LambdaRank或其基于树变LambdaMART一直是最有效的算法之一纳入排名指标在学习过程中。“（Wang等，2018）
主要的一点是，它很可能不是由于更多的资源（容量/财务）在研究中使用的系统功能更强大，但是，这些原则（和基本算法）保持不变。
一个需要注意的是，一些商业搜索引擎也可以用“多级”排名神经模型。
参考多级排序管道，Nogueria等人，写了2019：“已知的生产部署包括必应搜索引擎（彼得森，2010年）以及阿里巴巴的电子商务搜索引擎。“
他们增加了进一步解释，“虽然经常轻轻带过，大多数的神经排名今日车型 。。。实际上是重新排序模式，在某种意义上说，他们工作在候选文档的列表的输出，通常由“文字包”产生查询。因此，文献检索与神经模型今天已经使用了多级的排名，虽然一个贫困的形式，只有一个单一的重排序阶段。“
进一步的澄清。 我们知道，两个阶段索引/渲染和谷歌已经提供了足够的上两级索引状况的信息，但不是两个阶段排名也确实索引的两个阶段。
两个阶段的排名是完全不同的。
两个阶段排名第一阶段：全面排名
在两阶段学习，以排名（Dang等，2013），文档的列表中排名第一基于包含多项功能和查询扩展那么模型被训练为基于本次召回的文件“有学问“的相关性模型”在第一阶段召回相关的”模型。
两个阶段排名第一阶段实际上是关于检索尽可能多的潜在相关网页尽可能。这第一阶段可能扩大像BM25，一个TF（词频）为基础的方法，与各种查询扩展方面，自或许分类特征，根据万荣等人，2013年，“最好是在最初的检索，以获取更多的文档，以便为避免错过在第二阶段重要和高度相关文件。“（万荣等人，2013）。
在“学习等级”和扩大查询集包括查询扩展，万荣等人写的话题； “这个查询扩展模型被认为强于大盘简单袋的词算法，如BM25显著由于包括在最初的第一阶段召回多个文档。“（万荣等人，2013）。
两个阶段学习等级进行信息检索
在“学习等级”：
虽然2013纸是老年人，更有理由为什么进步将拥有此改善，因为这两个阶段的系统仍然是“行业标准。‘
两个阶段排名第二阶段：重新排名
从检索到的文档的此列表中的第二遍是在指定的文档顶部-X号，被称为顶-K从使用机器学习技术的检索到的文档列表，并微调为精度执行。 你经常会在信息检索论文见项P @ K（精密的K）是指精确的前K水平对一个“金标准”或相关的“地面实况”（K是一个号码，。g。2P @ 10将意味着认为符合有关用户的信息需要查询的前10个结果中检索精确结果的数量）。
评价指标如P @ K（和有许多其他的）的一个很好的解释在此信息检索讲座滑动提供。
两个阶段排名第二阶段是精度更重要，更是资源消耗，同时还可能增加相关的进一步措施，真正分开在顶尖行列的金。
排名更精确地在第2阶段的关键是选择包含这些文件中的重要性，以及精度高排名的结果，更是这样，因为通过搜索引擎用户被视为这些结果的概率高。
正如谚语所说，“只有上市公司增发超越搜索结果的第二页”。
在“两阶段学习，以排名为信息检索”荡等人说：
总之，效率和有效性组合是用于两个阶段过程排名的主要驱动力。使用上最重要的文件中最耗费计算资源来获得更高的精确度，因为这是最重要的位置。全部的排名是第一阶段与作为第二阶段重新分级的顶部-K的改进从全集合中检索。
顺便说一句，这也可能是为什么谷歌的丹尼沙利文在五月鸣叫说，“如果你是前10名你正在做正确的事情。“
因为，前10名有可能在Top-K的最重要的部分重新排序的“精确”的阶段，而最大的功能和精度的“学习”将已经进行了这些结果。
改善排名（精度）的第二阶段已聚焦
考虑到排名提升排名精密大部分研究的第二阶段的重要性，专注于这一阶段 – 重新排名阶段。
我们知道BERT在其二千零十九分之二千零十八格式有限。至少不通过序列长度/上下文窗口的限制，以及费用，尽管出现小排量车型。
如何使BERT东西比一个更好的“锦上添花”，只处理最细致入微的句子层面在网络搜索歧义的需求，并成为可用的东西在一个有意义的能力？ 一些东西，许多研究人员可以在船上跳了太多？
BERT改变用途作为一个通道排序器并重新排序器
哈 。。。BERT作为通道排序器。
再次，加强BERT的局限性和理想电流使用：“BERT拥有超过512个令牌不再与输入序列麻烦一些原因。显而易见的解决方案，当然是文字分成段落，“每林等人今年。
其中一个研究和开发的最大突破领域一直处于BERT的再利用作为reranker，最初由Nogueria和Cho在2019年，在他们的论文“通道重新排名与BERT”，然后其他人。
作为Dia2019，指出在2019的文件：“BERT已经收到了很多关注的IR，主要集中在使用它作为一个黑盒子重新排序模型来预测查询 – 文档相关性得分。“
在他们2019的论文“用BERT通道重新排名，”诺盖拉＆Cho说，他们“描述了基于查询的通道重新排序的简单重新实现BERT的。我们的系统是本领域在MRR的TREC-CAR数据集，并通过27％（相对）在MS MARCO通道检索任务的排行榜的顶面入口，优于现有技术的先前状态的状态@ 10。“
“我们已经描述了BERT的简单适应作为通道重新排序器，已成为现有技术的状态在两个不同的任务，这是TREC-CAR和MS MARCO。“
我跟穆罕默德Aliannejadi博士，在信息检索和博士后研究员在信息检索在阿姆斯特丹大学的场数篇论文的作者，探索自然语言，手机搜索和搜索会话。
“目前，BERT作为reranker更加实用，因为完全的排名是非常困难和昂贵，” Aliannejadi博士说：。“而且，在效能的改进并不能证明效率的损失。“
他继续说，“人们会需要大量的计算资源来运行使用BERT全排名。“
随后，通过重新排序（并越来越多地与BERT通道重新排序），是目前跻身最喜欢的2020个主题的信息检索和机器学习语言研究的世界，一个地区的地方显著正在取得进展，特别是当与其他组合人工智能研究改进围绕效率，规模和两级提升排名。
通道和BERT（暂时）齐头并进
人们只要看看在Lin等内容表的最近出版的新书“预训练变形金刚文本排行：BERT和超越”（Lin等al2020）看到的影响通道的排名正在对最近的“BERT的世界”与291提到的通道，胡安·冈萨雷斯别墅指出：
谷歌研究和通道排序/重新排名
当然，谷歌的研究有一个团队，已经加入了挑战，提高排名，并与通道（谷歌TF-排名小组）再排序，对MSMARCO的排行榜竞争，与迭代改进模型（TFR-BERT），修订后的次数。
TFR-BERT是根据各地题为“学习到与排名在BERT TF-排名”（Han等al2020）的论文，发表在四月与六月2020年最新修订版。“在本文中，我们的重点是通过排名，特别是MS MARCO通道完全排名和重新排序的任务，”作者写道。
“。。。我们提出TFR-BERT框架文件，并通过排名。它结合了从两个预训练的语言模型，如BERT国家的最先进的发展，并学习到排名方法。我们对MS MARCO通道排名任务实验证明其有效性，“他们解释。
TFR-BERT – BERT-集成模型 – BERTS谷歌的合奏
谷歌Research的最新BERT’ish模式已经演变成BERTS等混纺的合奏方法 – 其他车型，甚至完全不同的模式，方法和增强功能的部件的组合分组。
许多BERTS作为通道rankers和rerankers实际上是“SuperBERT的
由于大部分在BERT研究空间的代码是开源的，包括各大高科技公司，如谷歌，微软和Facebook，那些寻求改善可以建立合奏模式，以使“SuperBERT充足。“
2020见过这种“SuperBERT”模式的浪潮在语言模型空间中出现，并且在整个排行榜。
以这种方式使用BERT的可能不是像在查询的只有10％的人使用的BERT。这可能是简单的任务，如歧义和命名实体的确定上的文字和句子很短的片段，了解词语的查询两种可能的含义之间的区别。其实有一个从题为“SentenceBERT：采用连体BERT-网络句子曲面嵌入”纸称为SentenceBERT BERT（赖默斯＆Gurevych2019），但这并不意味着SentenceBERT是在过程中的2019所提到的查询的10％使用。
主要的一点是，通过与BERT的排名是完全BERT重新用于上下文含义分为两个阶段添加到一个训练组通道。从2019全部排名，然后重新排序，并可能完全不同沿用到10％，实现生产搜索。
在“SuperBERTs”的SEO界的朋友（Arnout Hellemans）指的是我的狗BERT为“SuperBERT”的主题看起来是这样一个合适的借口，加上她的照片。
学习到秩与BERT在TF-排名（Han等人，2020）
Han等人，2020，解释其中采用原始BERT和TF-排名模型相结合ELECTRA和罗伯塔与BERT和TF-排名办法的合奏通过五个不同的提交给MS MARCO通道排名排行榜的附加的集成。
TF-排名被描述为“TF-排名：一种可扩展TensorFlow库学习到等级”（Pasumarthi等al2019）
虽然ELECTRA是由谷歌发布，你可以回忆一下，罗伯塔是由Facebook的公布。
但我们也可以看到一个额外的元素提到的以及从纸提取罗伯塔，BERT，TF-排名和ELECTRA。提起DeepCT的。
据“学习到秩与BERT的TF排名”的论文：
“谷歌的TFR-BERT到MS MARCO通道排名排行榜的5个提交如下：
提交＃1（重排序）：TF-排名 BERT（使用SoftMax损失，列表大小6，200K步）提交＃2（重新排序）：TF-排名 BERT（的逐点，成对和成列的损失合奏）提交＃3（全排名）：DeepCT检索 TF-排名BERT合奏提交＃4（重排序）：TF-排名BERT，罗伯塔的合奏和ELECTRASubmission＃5（全排名）：DeepCT TF-排行BERT的合奏罗伯塔和ELECTRA
虽然早期的提交是根本BERT和TF-排名（TensorFlow排名），与罗伯塔和ELECTRA后来添加到另一个排行榜提交，最大的收获似乎是DeepCT的与全排行通道排名意见书3和5之间显着的改善增加任务，虽然深-CT是不是在论文摘要中提到。
谷歌的SuperBERT集成模型（TFR从-BERT演进）是在MS MARCO都充满排名和重新分级通道排名榜表现良好。
您可以在图像中的位置5看到这里目前（2020年10月）下面标题为：
DeepCT TF-排名BERT，ROBERTA和ELECTRA的合奏（1）曙光汉，（2）竹韵戴，（1）选辉王，（1）迈克尔Bendersky和（1）马克Najork – 1）谷歌研究，（2）卡内基·梅隆 – 纸张和代码
另外要注意戴现已添加到从四月排行榜提交起，谷歌TF-排名小组成员，虽然不是原来的纸上列出。
在深入了解体内的“学习到秩与BERT TF一流”的文章中，我们看到以下内容：“我们发现，DeepCT有助于大幅度提高BM25结果重新排序，并进一步结合既BM25和DeepCT重新排序的名单带来了额外收益。“
在包括DeepCT具体而言，汉等人的模型修改展望继续：“随着提交＃3，我们所取得的第二最佳的整体性能在排行榜为2020年4月10日的。随着近期提交＃5，我们进一步提高我们以往的表现，并获得了领先榜第三最佳性能在2020年6月8日（数以千之间新的排行榜提交）“
此外，要记住的大幅改善是在全排名的任务，而不是重新排名的任务是很重要的。 注意两者的完全排序任务包括DeepCT，但重新排名的任务不。
5 – DeepCT TF-排名BERT，ROBERTA和ELECTRA的合奏（1）曙光汉，（2）竹韵戴，（1）选辉王，（1）迈克尔Bendersky和（1）马克Najork – 1）谷歌研究（ 2）卡内基梅隆 – 纸张和代码。全排名2020 11年6月2日 – DeepCT检索 TF-排名BERT合奏1）曙光汉，（2）竹韵戴，（1）选辉王，（1）迈克尔Bendersky和（1）马克Najork – （1）谷歌研究（2）卡内基·梅隆大学 – 纸韩杼滨等。‘20]代码。全排名202014 4月10日 – TF-排名BERT，ROBERTA和ELECTRA的合奏（1）曙光汉，（2）竹韵戴，（1）选辉王，（1）迈克尔Bendersky和（1）马克Najork – 1）谷歌研究；（2）卡内基梅隆 – 纸张和代码。重新排名6月2日，202025 – TF-排名 BERT（逐点的，成对和成列损失合奏）TF-排名小组（曙光涵，王璇辉，迈克尔Bendersky和Marc Najork）谷歌研究 – 纸韩杼滨等。’20]和[代码]。2020重新分级3月30日，
DeepCT似乎是负责临门一些显著的收益在MS MARCO充分排名榜任务为谷歌TF-排名研究团队秘决成分。回想完整分级阶段涉及两个阶段任务的第一阶段。
在MS MARCO的情况下，它是8的排名。8000000个通道提供，重新排序与微调从初始第一分级阶段中检索到的前1000个结果。
所以DeepCT是第一阶段的差异充分排名位置的，这是第一阶段。
那么究竟什么是DeepCT并且还能是显著的不仅仅是通道居排行榜更多？
DeepCT代表“情境式深加权期限框架”，并在题为“环境感知权重计算对于第一阶段段落检索论文提出。“（DAI，2020）
DeepCT，傣，发明者介绍了框架：“DeepCT，一个新的上下文感知权重计算方法，对袋的词第一阶段检索系统更好的估计长期重要性。“
但是，这并没有真正做到公正，因为还有很多更DeepCT以上的第一嫌疑人。
在通道更大的背景下，TF（词频）的和改进的第一阶段的替代与DeepCT排名
戴，DeepCT的发明者，表演DeepCT不仅提高第一级排名结果和在通道增加了一个上下文感知到的术语，而且当与BERT重新排序器组合（在第二级中）（伯特改变用途如通过Nogueria重新排序器和Cho2019）是在“意图对准”排名结果通道，再加上两个效率提高精度非常有效的，并显示潜在的规模来生产环境中，没有太多修改现有架构。
事实上，DeepCT似乎在通道索引是一种排序过程中非常有效，但在DeepCT的情况下，有涉及到一个“指数”的元素，但不能因为我们知道它在搜索引擎优化的空间（和DeepCT的专题论文做参考通道索引）。
目前DeepCT的使用仅限于默认BERT 512个令牌但这是理想的通道，并在通道反正文件部分，因为他们真的是刚刚切碎的文件。因此，在正常文件成为一组的序列的通道通常是很好内BERT的512种令牌范围的限制。
从早期重申林的座右铭：“正如我们已经广泛讨论，BERT拥有超过512个令牌不再与输入序列麻烦一些原因。显而易见的解决方案，当然是文字分成段落。“
为什么这么DeepCT显著？
虽然DeepCT被BERT的令牌512度的限制，并且因此通道的约束内目前的限制，DeepCT可构成排名“突破。“
重要的是，DeepCT不仅旨在提供上下文感知通道居解决方案，但也开始解决一些长期存在的信息检索全行业的问题，各地历史悠久的排名和检索模型和系统。这些发展可能远远超出DeepCT有限焦点，我们关心的是今天的推移索引更新，特别是围绕效率和上下文窗户其他改进开始在BERT样系统和变压器来解决。
在通道术语频率（TF）的问题
第一个问题DeepCT寻求解决涉及在第一阶段排名系统中使用的TF（词频）的。
正如戴指出：“国家的最先进的搜索引擎使用的排名，其中一个有效的第一阶段使用的查询管道来获取一组初始的文件，以及一个或多个重排序算法来提高和修剪排名。典型地，第一级排序器是使用术语频率（TF）来确定术语的文档特定重要性的袋的词检索模型。然而，TF不一定指示一个项是否对文档的含义必不可少的，特别是当频率分布是平坦的，例如。g。是，通道。从本质上说，TF忽略的术语，并且其文本上下文，这是关键估计文档特定术语的权重之间的相互作用。“
戴建议“被频繁”并不意味着在一个给定的通道内容“是相关的”，同时也证实了根本性的作用袋的词办法已在传统和同时强调当前系统的缺点有一个字。
“该袋的词在现代搜索引擎中的基础性作用，由于它的效率，并产生详细的词语相匹配信号的能力，”戴说：。“大多数袋的词表示和检索模型使用基于词频（TF）项的权重，例如TF。以色列国防军和BM25。然而，作为频繁并不必然导致在语义重要。在文本识别中心的话还需要考虑每个单词的意思，它在特定环境中的作用。“
戴秉国介绍了基于频率的词元权重为“原始的工具”（尽管他们已经取得了巨大的成功），因为TF没有这是中央对整体文本含义的词，哪些不是词与词之间的通道和分化，尤其如此句子，并提出了需要了解Word的文本内容的上下文中的意思为“关键问题。“
“基于频率的长期权重是一个巨大的成功，但他们是一个原始的工具，”戴和卡伦在2019年写道：。“期限频率并不一定表示一个术语是否很重要或中央到文本的意义，尤其是当频率分布是平坦的，如在句子和短文”
戴进一步指出，“要估算特定文本单词的重要性，最关键的问题是产生表征字的关系，以文本背景特征。“
与多级排名系统的问题
第二个问题涉及效率和在第一级排名系统的计算成本，并且随后深学习研究的焦点集中在重排序（微调，在多级的情况下排名第二，或后续阶段排名系统），在最近一个时期，由于深学习计算费用，而不是完整的排名（初始第一阶段）。
“大多数第一阶段rankers是袋的词旧的，但高效的检索模型，使用期限频率信号，而且大部分在排名一直专注于排名的后期阶段的研究工作 – 在微调阶段，”戴秉国说，在2019年。
戴暗示的计算（以及随后金融）的费用与第一阶段排名限制使用复杂的深学习否则可能克服“缺乏中央”重点方面相对于在通道周围的其他文字（单词的上下文）关联。
“经典词频信号不能告诉文本是否围绕中心长期或只是提到，长期讨论的话题有些时候。这个问题是特别困难的在第一阶段全收集的排名，其中复杂的功能和型号都适用太贵了，“戴写道：。
我们知道改进的排名是对信息检索“两阶段学习，以排名所进行的研究的一个主要理由第一阶段。“即使这样他们也承认，绝大多数的研究排名是第二阶段（重新排序，因此，他们的工作积极性的目的是要提高第一阶段具有更好的初始屈服使用e。g。查询扩展技术更好微调（Vang的等人，2013）。
有可能许多人谁寻求解决这个第一阶段排名改进进一步为好，但主要焦点无疑是对第二阶段为各地高度位列-K的重要性上述原因导致的概率可以看出，组合与计算/财务费用。
这家专注于第二阶段的结果也继续甚至BERT被改变用途作为通道和研究人员热情要遵循通道中的BERT重排序路径。
提高排名和获得的字在通道方面太的第一阶段
DeepCT试图大干一场同时解决这两个问题。
第一阶段排名改进与DeepCT
戴秉国与DeepCT工作重点放在检索的第一阶段，同时也帮助显著下游重排序阶段。
使用BERT一个新的替代词频 – tfDeepCT
在排名的第一阶段，戴秉国还专注于段落不仅仅是他们的罪名对词的多种语境理解移动（TF）。
戴秉国提出与情境式深加权期限框架称为“tfDeepCT的一部分TF词频替代。“
而不是仅仅计数术语频率，tfDeepCT标识的通道为词的深上下文含义和上下文。
使用BERT表示，DeepCT分配的重要性分数基于他们的核心地位和重要性的话题的话给他们的背景下在一个通道中。 DeepCT较高的权重分配给重要术语和抑制在通道低重要性或偏离主题的条款。
然后，这些权重分配到一个普通的倒排索引与添加任何新的职位，但与TF称为tfDeepCT更换（根据其在一个通道中的上下文重要性加权条款通过BERT的变压器注意架构视为）。
DeepCT指数
这就是所谓的DeepCT指数。
重要 – 这并不意味着这是一个新的索引文件的情况。通过索引约为通道排名。在即将到来的通道整体索引的主题，谷歌已经明确了新的通道索引变化做好涉及排名的变化，而不是一个索引变更文件。 通道不会被根据谷歌最近的澄清，以及作为，或代替分别索引，文件。
DeepCT指数（如果使用的话）似乎提出简单地添加方案排序权重应用到现有的索引，但它取代TF与tfDeepCT对于通道。
戴秉国还使得它在周围DeepCT文献明确表示，“没有创建新张贴列表。“
也指利用DeepCT为通道索引：“第3节描述的情境式深加权期限框架（DeepCT），其使用的通道索引（DeepCT指数）。“
重要 – 我想说DeepCT指数以包退，这是中央的一块让给DeepCT框架文献。 谷歌研究已经承认使用DeepCT在他们的研究论文的致谢部分都“学会与排名在BERT TF-排名”和整个纸。
DeepCT也是当前研究模型提交的一部分，充分排名目前提交给MS MARCO通道排名榜。
然而，这并不意味着它是集生产，也将是。但它确实表明希望和一个新的和有趣的发展方向，不仅对使用BERT与通道排名更高的上下文搜索，但是对于更高效和有效的“环境感知”，改进搜索功能的整体，因为如果实施这将有可能导致在规模大得多的资源被整个端到端端排序系统中使用。
更是如此给出的通道居排行榜最近收到了显著成果和结果报告由戴围绕DeepCT框架提出的文件。DeepCT的发明者现在也加入了谷歌TF-排名小组并已被列入模型对MS MARCO通道位居排行榜的最近提交。
一些这似乎被DeepCT在两个当前TFR-BERT研究模型的结果，并在戴的论文克服可能被视为“排名中突破传统的挑战。“
从上周的搜索在谷歌事件的普拉巴卡尔拉加召回，宣布“通过索引”，并说，当“我们最近在排名上取得了突破。“
DeepCT那种喜欢它的声音或许是排名相当显著的突破。
那么，如何DeepCT工作？
代替在信息检索的第一阶段中使用术语频率/排名，DeepCT似乎提出具有tfDeepCT替换术语频率（TF）。 随着DeepCT，单词的上下文的含义被确定作为替代简单地计算的关键字出现在通道中提到的次数，通过BERT变压器采用深情境交涉。
在上下文中重要的词进行加权更多，即使他们被提及更小，并且重要性分数被分配给一个段落或特定上下文的单词的情况下，因为词有在不同时期，不同情况下的不同含义。 到通道和主题（中央计算）更重要的话被评分具有较高重要性分数，而词语这是不太重要的是给予较低的分数和/或抑制完全如果它们偏离主题或重要性毫无贡献该通道。
一个强大的偏压朝向字分别是“接通主题”产生具有抑制的“偏离主题”字。
引用维特根斯坦在1953年，“一个字的意思是它在语言的使用。“
虽然一些评论已经被我添加到内容跟着我不想歪曲DeepCT的技术解释的含义，由于我对DeepCT的新的和复杂的话题了解有限，因此主要DeepCT的解释是从戴的纸报价。
DeepCT，tfDeepCT和DeepCT指数
DeepCT的基本组成部分似乎是：
tfDeepCT – 到术语频率的替代，其替换tfDeepCTDeepCT指数TF – 加入到原始索引替代的权重，没有额外的过账。加权离线进行，因此不会增加任何延迟到搜索引擎的在线usageDeepCT查询 – 一个更新袋的词的查询已经利用BERT深上下文特征以确定在给定的文本上下文的重要术语调整或查询上下文。
据直径：
戴，凸显DeepCT的新颖的性质和效果：
为了强调DeepCT，tfDeepCT和DeepCT指数的效率
DeepCT指数可以使神经排名实用的“终端到终端？“
看来计算费用，即使在重排序阶段使用BERT时造成的延迟问题是一个显著瓶颈在生产环境中使用它们的规模。 戴秉国强调，巨大的好处，以提高与DeepCT第一阶段，从而减少在重排序阶段的负担。
主要的一点是，提高第一级具有到两个显着提高的第一阶段和第二阶段中的电势。事实上，大大提高了第一阶段很可能会减少对第二阶段和多级的需要戏剧性的是，戴称，和DeepCT的业绩比较标准的BM25第一阶段排名系统。
这种发展是作为DeepCT不加入任何延迟到搜索系统的结果，因为没有什么是每说进一步加。
DeepCT结果
戴秉国强调使用DeepCT，尤其是作为替代词频措施，已使用多年少见取得的成果，并使得通过DeepCT所示的结果清楚地表明其他条款的重要性信号的情况下可以超越项生成频率。
但是，不仅是DeepCT令人印象深刻第一阶段的排名，但改进的第一阶段结果自然前馈，以更好地第二阶段的排名，而在使用tfDeepCT和DeepCT指数通道也发现中央的含义。
下面是一些从DeepCT实验能力的结果从DeepCT（傣族，2020年）的文件的各个部分策划了上下文感知第一阶段排名器的：
在DeepCT指数一BM25检索可以是25％更准确比传统的基于TF指标，而且比一些广泛使用的多级检索系统更准确。这些结果表明，它有可能取代使用DeepCT指数单级检索一些流水线排名系统。从DeepCT指数单级BM25检索优于几个重新排名pipelinesIt比基于特征的LeToR更准确的（学习到等级），在现代搜索广泛使用的重新分级方法enginesThe提高第一阶段排名进一步的好处下游的有效性和效率再rankers。DeepCT指数降低了重排序由5×深度10×，使深层神经基于重新rankers在延时：/资源敏感systemsRanking与DeepCt在第一阶段实用，提供更相关的通道，以一个reranker更好端年终排名。DeepCT在所有深度有较高的召回，这意味着从DeepCT排名提供了更多的相关段落到reranker。对于BERT ReRanker，DeepCT使得它能够实现用少得多的通道类似的准确性 。。。这意味着reranker可以是5-10×更高效。在summaryDeepCT把相关段落的顶部，使下游rerankers可以实现类似或更高的精度，更小的候选集，从而降低在检索管道计算成本
与DeepCT取得的成果可以被看作是“排名的突破。“当然DeepCT表示朝向改进步骤”端到端级别“（虽然对于此刻传代），并能可靠地被看作是进步，特别是当与一个突破在使用深学习的表示识别上下文含义耦合用简单的权重添加到当前TF条款与tfDeepCT替换它们的能力和？
和戴似乎动摇的东西在她的要求实际上是说TF不再是足够的，它的时间重访旧当前系统：
她使这个词的频率没有任何足够多的情况下。
并总结如下她的情况：
“更高质量的DeepCT指数排名启用提高了后期再rankers准确性/效率权衡。一个国家的最先进的基于BERT-重新排序器来实现类似的准确度与5×更少候选文档，使得这种计算密集的重rankers在延时：/资源敏感的系统更实用。虽然已取得很大进展对发展较好的神经排名模型制作IR，计算复杂性常常限制了这些模型来重新排序阶段。DeepCT成功传输从深层神经网络为简单的信号，可以通过早期的排名系统中有效地消耗并提高其性能文字理解能力。分析显示DeepCT过经典的权重计算的主要优势方法：DeepCT发现在文本中最核心的话，即使他们只提到一次。非中心的话，即使在文本中经常提到的，被抑制。这样的行为在以前的权重计算方法罕见。我们认为DeepCT从“频率”到“的含义了令人鼓舞的一步。“
就让我们重温搜寻在事件有关通道索引期间从谷歌的关键信息：“随着我们的新技术，我们将能够在网页上，以便更好地识别和理解关键通道。这将帮助我们的表面，可能会考虑一个页面只能作为一个整体时，否则不被视为相关内容 。。。。“
这听起来类似于戴：“A新用途DeepCT的是，以确定是中央的一个流路的含义，或一个通道长的文件，对于高效和有效的通道/短文档检索条件。“
回到搜索关于事件：“这种变化并不意味着我们独立索引的网页个人通道。我们仍在索引页，并考虑有关排名整个页面信息。但是，现在我们也可以考虑从网页通道作为额外的排名因素 。。。。“
其可以是这样（但在相同的索引），作为当前文档索引内施加在一个传代水平的加权上下文排名因素。
记得戴，到2020年，清楚地没有进一步的帖子在DeepCT指数创建。没有什么变化的指数，但使用BERT加入也许不同情境的措施，也许tfDeepCT增加了这方面。（请注意，我已经超越了文学和当前TFR-BERT模型没有提交证明了这一点）：
好吧，如果DeepCT使用，它可能只是意味着这些“关键词的次数”和“的一些x，y和z中的计数”的功能，被称为在段落检索2018年的视频可能不会非常重要的，因为上市公司增发希望，当通道索引今年晚些时候滚出因为DeepCT（如果使用），可能会采取不同的方法对那些在YouTube视频从2018的通道检索。
我的意思是，严重的是，有多少实体和关键字可能一个东西到文本中的通道反正没有它是垃圾？
这并不是说从2018事情并不重要，因为还有工作要与BERT和知识库可能影响，而且对T5的工作，由谷歌探讨是否像BERT模型可以从一个简单的增加在其参数的知识大抓取网页的。由于太不戴的一些其他工作，HDCT（Dai2019），这是通过检索和索引另一个框架。 有傣族，确实出现给权重通道的位置在文档中，也将被视为通道文档中的“最佳”太。标题和反向链接中HDCT被视为重要的指标太。
但谷歌并没有选择包括HDCT在其提交的TFR-BERT，我怀疑（的意见），它是由多少反向链接和关键字在页面标题有关垃圾邮件的可能性在模型只是其中重量方面。但这只是我的观点。
如果使用DeepCT，它真的会左右一个页面上的部分提供的吸引力和权威性的内容，重点和结构的富深度。语义标题和页面标题将可能也是理所当然的帮助，但毕竟只有这么多的人可以用这些功能做区别于竞争对手自己。
另一点
你还会发现很多对段落检索2018年影片围绕的主题是“仿真陈述搜索”，这是不一样的“开放域回答，”这是更长的时间，更少的简单提供答案，而更多细致入微。
以仿真陈述问题的答案是简单的知识基础，以寻找与细致入微的复杂开域问题，如谷歌提供的一个在通道索引的例子相比。这些类型的问题需要了解每一个工作的真实环境，并且可能只能通过上下文理解一词车型如BERT这并没有在第一时间出现，直到2018末满足。回答更复杂开域问题很可能构成的搜索事件期间的起点提到查询的7％，因为这是不高。
如果DeepCT（或DeepCT的未来迭代），在生产中搜索通道使用的排名可能要带来巨大的效率，第一阶段排名的潜力，并提高了第二阶段的总排名在搜索引擎（特别是，与所有的事情，这将是它在建造和研究世界的进一步提高）。
DeepCT，或类似DeepCT创新也有可能是秘密武器，其需要在第一阶段检索“关键字计数（TF）”真正的搜索引擎更能够理解单词的意义远。 最初在通道，但随后 。。。谁知道？
我们已经听说了参与第一阶段的排名和需要在后期的重新排序器只使用深度学习的效率问题，但事情可能会发生变化。 此外，搜索引擎已经对涉及系统第一阶段的排名，如多年的词频依靠根据大量的文献资料，而且也可能会发生变化。
这并不是说一个通道，或文档没有一个单一的相关词语是要排名很容易，因为它“可能”不会，虽然我们现在要做的知道这是不是一个页面上添加值空谈。
BERT无处不在
虽然我们现在知道在几乎所有的查询中使用BERT，用于通道索引使用BERT和查询的初始7％，可能会更普遍，而且越来越所以进去以后，如果，当，通过索引扩展为冲击更多查询。
BERT无处不很可能是一个先决条件，如果DeepCT进行，以建立索引的tfDeepCT的嵌入使用。
这就是说，BERT和其它神经网络有可能无论如何并不总是需要在非常短或导航查询。
这里没有很多自然语言的理解需要“红鞋子”或“ASOS裙装，”毕竟查询，因为目的通常是很清楚，除了查询是否需要不同的媒体来一个简单的10个蓝色链接（E。g。图片）。
但是，如前所述DeepCT甚至可能不是在生产组合
在这个阶段，但是，谷歌可能只是开心就好用BERT作为长期开放域的问题，而不是它是比较容易回答的仿真陈述问题重新排序器，但是，这并不觉得自己真的要“突破排行榜”，因为通道排名已经有相当一段时间了，虽然重新排列元件是相当近期的。
在给出的压倒性使用BERT和BERT样的通道系统中的任何事件，即使没有DeepCT，重新排序是“可能”即将通过更新的一部分。
所以，我们知道正在使用BERT，至少部分用于查询的10％，而且在排名（重新排序），因为计算成本的第二阶段是可能的，大概只有在最细致入微的查询，并可能不是作为一个通道重新排序器或排序器，但作为一个句子层面歧义任务工具和文本摘要（功能片段）。
我们知道，与BERT和其他深层神经网络，神经排名方法已经在整个搜索行业搜索的第一阶段运行得计算昂贵，也有过在令牌BERT可以工作的数量限制 – 512个令牌。 但2020是一个很大的一年，规模自然语言学习机关注系统的发展包括新产品比如大鸟，改革者，表演者和ELECTRA加上T5检验学习收获转移的限制，使得巨大进展。而这些都只是谷歌的项目在某些能力参与。且不说其他大型科技公司搜索。
虽然大部分工作是很新的，一年是很长一段时间在AI NLP的研究空间，因此预计到明年这个时候的巨大变化。
不管DeepCT是否在即将投产的搜索通道索引功能使用时，极有可能BERT具有对变化有很强的联系，因为绝大多数使用BERT（朋友）作为通道reranker在过去12个月的研究或者。
通道，用自己有限的代币数量，如果作为独立的作品，就可以说，就其性质而言，单独限制关键字的效果没有上下文的表示，当然，关键字酿通道来克服，这将是一个倒退一步，而比一招从关键字式的语言的搜索引擎远正试图从搬开。
通过使用上下文表示了解搜索的特定情况下意图检测字的意义是很大的提高。
虽然目前有在长文档BERT限制，通道似乎一个理想的地方，开始走向新的意向性检测导致搜索。这是尤其如此，当搜索引擎开始“增加知识”从查询和连接的知识库和资料库外标准搜索，而且还有许多工作在这个空间。
你可能还记得，从2020年年初冰视频的弗雷德里克Dubut记住，必应一直在使用BERT自去年四月也算得上随处使用的东西BERT喜欢在他们的搜索引擎系统。 虽然冰可能不会有相同的搜索市场份额的谷歌，他们有一个令人印象深刻的自然语言理解的研究团队，在他们的空间很受尊重。
弗雷德里克说，现在是时候了SEO的重点意向研究的做法，但我不认为这意味着我们不应该考虑的话，因为毕竟，语言是建立在话。即使DeepCT不声称能够无话理解意图。但是，弗雷德里克被告知可能对上市公司增发从关键字去年秋季型“提到了一个页面上关键词的x个”搬走的方法和更倾向于与真正理解意图的背后信息的需求日益对齐。
这就是说，结构和重点内容始终要紧，从来没有如此比现在当语境清晰甚至会以书面形式更重要的是，加副标题整个长格式的文件作为一个整体将成为其中的一个重要组成部分，因为专用通道很可能这些长文档切碎成部分。
清除部分的标题和重点，以满足在每个阶段的信息需求无疑总是将是有用的，尽管这不一定是一个搜索引擎优化“东西”。我肯定要重新考虑与小外用中心地位的虚假博客和提高他们增加更多的价值作为建议的第一点。
另外，使用
Mozilla基金会提供了这种“独立”部分的标记和内容相结合的一个很好的例子。
另外，不要仅仅依靠排名跟踪了解意图。养老金计划和类型的网站排名以及其中的内容无疑是你应该在你的段落谈论的，以满足信息需求的最佳措施。 这并不总是你的期望。
这些发展与BERT无处不在（并且如果使用BERT和DeepCT通道），强化了进一步。
作为谷歌的普拉巴卡尔拉加万说，“这仅仅是个开始。“
他没有错。
虽然目前有在长文档BERT限制，通道似乎一个理想的地方，开始走向新的“意向性检测”导致搜索。这是尤其如此，当搜索引擎开始“增加知识”从查询和连接的知识库和信息库之外的标准搜索，并且在这个领域还有许多工作目前正在进行中。
但是，这是另一篇文章。
Beltagy，我。，彼得斯，男。E。和科汉，A。2020年。Longformer：长文档变压器。预印本的的arXiv的arXiv：2004.05150。
Bendersky，男。和库兰，O-。，2008年七月。使用文档通道图形重新排序的搜索结果。在PP（在研究第31届ACM国际会议SIGIR和发展在信息检索论文集。853-854）。
Choromanski，K。，Likhosherstov，V。，Dohan，d。宋，X。，甘恩，A。，Sarlos，T。，霍金斯，P。，戴维斯，J。，Mohiuddin，A。，凯泽，L。和贝朗格，d。2020年。反思与关注表演。预印本的arXiv的arXiv：2009.14794。
克拉克，K。，陈德良，男。T。，乐，Q。V。和曼宁，C。D。2020年。恋父：前培训文本编码为鉴，而不是发电机。预印本的arXiv的arXiv时间：2003.10555。
戴，Z。和卡伦，J。，2019。弱监督DeepCT的评价在TREC 2019深度学习轨迹。在TREC。
戴，Z。和卡伦，J。，2019，七月。红外更深的理解文本语境与神经语言建模。在第42届ACM国际会议SIGIR研究和发展在信息检索的程序（PP。985-988）。
戴，Z。和卡伦，J。，2019。对于第一阶段检索上下文感知句子/通道长期重要性的估计。预印本的arXiv的arXiv：1910.10687。
戴，Z。和卡伦，J。2020年，七月。环境感知权重计算对于第一阶段段落检索。在页（第43届ACM国际会议SIGIR研究和发展在信息检索论文集。1533年至1536年）。
戴，Z。和卡伦，J。2020年，四月。环境感知的文档词加权为点对点搜索。在Web会议2020年论文集（PP。1897年至1907年）。
德夫林，J。昌，男。W。， 韭葱。和Toutanova，K。，2018。伯特：深双向变压器的预培训语言理解。预印本的arXiv的arXiv：1810.04805。
埃文斯，d。A。，Claritech公司，1999年。信息检索基础上使用子文件。U。S。专利5999925。
韩，S。王，X。，Bendersky，男。和Najork，男。2020年。学习到与排名在BERT TF-排名。预印本的arXiv的arXiv：2004.08476。
乔希，男。，财，E。，虚焊，d。S。和Zettlemoyer，L。2017年。Triviaqa：规模大远亲监管挑战数据集阅读理解。预印本的arXiv的arXiv：1705.03551。
Karpukhin，V。，O-？UZ，B。， 分钟。吴，L。，Edunov，S。陈，d。与弘毅，W。T。2020年。密集的段落检索开放域问答系统。预印本的arXiv的arXiv：2004.04906。
Kitaev，N。，凯泽， ？。和Levskaya，A。2020年。重整：高效变压器。预印本的arXiv的arXiv：2001.04451。
Kwiatkowski，T。，Palomaki，J。，雷德菲尔德，O-。，科林斯，男。，帕瑞克，A。阿尔贝蒂，C。，爱泼斯坦，d。，Polosukhin，我。，德夫林，J。， 韭葱。和Toutanova，K。，2019。自然的问题：对问题回答的研究标杆。协会计算语言学，7，页交易。453-466。
林，J。，诺盖拉，R。和耶茨，A。2020年。预训练变形金刚文本排行：BERT和超越。预印本的arXiv的arXiv：2010.06467。
刘，Y。，奥特，男。，戈亚尔，N。杜，J。，乔希，男。陈，d。利维，O-。，刘易斯，男。，Zettlemoyer，L。和扬诺夫，V。，2019。罗伯塔：一个有力BERT训练前优化的方法。预印本的arXiv的arXiv：1907年。11692。
阮，T。罗森伯格，男。宋，X。，高，J。，Tiwary，S。，Majumder，R。和邓，L。2016。MS马可：一个人类生成的机器阅读理解数据集。
诺盖拉，R。和Cho，K。，2019。与BERT通道重排序。预印本的arXiv的arXiv：1901.04085。
诺盖拉，R。杨，W。，赵，K。和林，J。，2019。多级文件与BERT排名。预印本的arXiv的arXiv：1910.14424。
Pasumarthi，R。K。王，X。李，C。，布鲁赫，S。，Bendersky，男。，Najork，男。，普法伊费尔，J。，Golbandi，N。，阿尼尔，R。和狼，S。，2018。TF-排名：可扩展TensorFlow图书馆学习到排名。（2018）。arXiv。预印本的arXiv的arXiv：1812.00073。
拉费尔，C。，Shazeer，N。罗伯茨，A。， 韭葱。，纳朗，S。，Matena，男。周，Y。李，W。和刘，P。J。，2019。探索迁移学习的限制与统一的文本到文本转换。预印本的arXiv的arXiv：1910.10683。
搜索在与谷歌。2020。搜索在与谷歌2020。[在线]可用于：https：// searchon。withgoogle。COM /。[访问时间2020年10月25日]。
Sekuli？， 一世。，Soleimani，A。，Aliannejadi，男。和Crestani，F。2020年。Longformer为MS MARCO文献重新排序任务。预印本的arXiv的arXiv：2009.09392。
seroundtable。com。2020。谷歌表示，暂时就先搜索意味着你在做的事情权。[在线]可用于：https：// WWW。seroundtable。COM /谷歌的第一页，这样做，事情 – 右 – 29431。HTML。[访问时间2020年10月25日]。
铁烟柳等。学习等级进行信息检索。基金会和TrendsR在信息检索，3（3）：225-331，2009年。
王，S。周，L。，甘，Z。陈，Y。C。方，Y。，太阳，S。程，Y。和刘，J。2020年。群集前：基于聚类稀疏变压器长距离依赖编码。预印本的arXiv的arXiv：2009.06097。
王X。李，C。，Golbandi，N。，Bendersky，男。和Najork，男。，2018年，十月。对于排序度量优化lambdaloss框架。在信息和知识管理的第27届ACM国际会议论文集（PP。1313年至1322年）。
查希尔，男。，Guruganesh，G。，杜贝，A。，艾因斯里，J。阿尔贝蒂，C。，Ontanon，S。，范，P。，Ravula，A。王，Q。杨，L。和艾哈迈德，A。2020年。大鸟：变形金刚更长的时间序列。预印本的arXiv的arXiv：2007.14062。
在这篇文章中所表达的意见是那些客人笔者并不见得搜索引擎土地。作者的工作人员在这里列出。