信息检索导论 修订版 搜索引擎机器学习数值计算方法 kindle 书籍 免费 网盘下载地址

本书是信息检索的教材，旨在从计算机科学的视角提供一种现代的信息检索方法。书中从基本概念讲解网络搜索以及文本分类和文本聚类等，对收集、索引和搜索文档系统的设计和实现的方方面面、评估系统的方法、机器学习方法在文本收集中的应用等给出了*的讲解。

第 1章 布尔检索 . 1 

1.1　一个信息检索的例子　2

1.2　构建倒排索引的初体验 .　5

1.3　布尔查询的处理　8

1.4　对基本布尔操作的扩展及有序检索　11

1.5　参考文献及补充读物 .　13

第　2章 词项词典及倒排记录表　14

2.1　文档分析及编码转换 .　14

2.1.1　字符序列的生成 .　14

2.1.2　文档单位的选择 .　16

2.2　词项集合的确定　16

2.2.1　词条化　16

2.2.2　去除停用词　19

2.2.3　词项归一化 .　20

2.2.4　词干还原和词形归并 .　23

2.3　基于跳表的倒排记录表快速合并算法　26

2.4　含位置信息的倒排记录表及短语查询　28

2.4.1　二元词索引 .　28

2.4.2　位置信息索引 .　29

2.4.3　混合索引机制 .　31

2.5　参考文献及补充读物 .　32

第　3章 词典及容错式检索 .　34

3.1　词典搜索的数据结构　34

3.2　通配符查询 .　36

3.2.1　一般的通配符查询 .　37

3.2.2　支持通配符查询的k-gram索引 .　38

3.3　拼写校正　39

3.3.1　拼写校正的实现 .　39

3.3.2　拼写校正的方法　40

3.3.3　编辑距离　40

3.3.4　拼写校正中的 k-gram索引　42

3.3.5　上下文敏感的拼写校正 .　43

3.4　基于发音的校正技术　44

3.5　参考文献及补充读物 .　45

第　4章 索引构建 .　46

4.1　硬件基础　46

4.2　基于块的排序索引方法 .　47

4.3　内存式单遍扫描索引构建方法 .　50

4.4　分布式索引构建方法 .　51

4.5　动态索引构建方法 .　54

4.6　其他索引类型　56

4.7　参考文献及补充读物 .　57

第　5章 索引压缩 .　59

5.1　信息检索中词项的统计特性 .　59

5.1.1　Heaps定律：词项数目的估计　61

5.1.2　Zipf定律：对词项的分布建模 .　62

5.2　词典压缩　63

5.2.1　将词典看成单一字符串的 压缩方法　63

5.2.2　按块存储　64

5.3　倒排记录表的压缩 .　66

5.3.1　可变字节码 .　67

5.3.2　γ编码　68

5.4　参考文献及补充读物　74

第　6章 文档评分、词项权重计算及 向量空间模型　76

6.1　参数化索引及域索引　76

6.1.1　域加权评分　78

6.1.2　权重学习　79

6.1.3　权重g 的计算　80

6.2　词项频率及权重计算 .　81

6.2.1　逆文档频率 .　81

6.2.2　tf-idf 权重计算　82

6.3　向量空间模型　83

6.3.1　内积　83

6.3.2　查询向量　86

6.3.3　向量相似度计算 .　87

6.4　其他tf-idf 权重计算方法 .　88

6.4.1　tf的亚线性尺度变换方法 .　88

6.4.2　基于值的tf归一化 .　88

6.4.3　文档权重和查询权重机制　89

6.4.4　文档长度的回转归一化 .　89

6.5　参考文献及补充读物　92

第　7章 一个完整搜索系统中的评分计算　93

7.1　快速评分及排序 .　93

7.1.1　非精确返回前K篇文档的方法 .　94

7.1.2　索引去除技术 .　94

7.1.3　胜者表 .　95

7.1.4　静态得分和排序 .　95

7.1.5　影响度排序　96

7.1.6　簇剪枝方法 .　97

7.2　信息检索系统的组成　98

7.2.1　层次型索引　98

7.2.2　查询词项的邻近性 .　98

7.2.3　查询分析及文档评分函数的 设计 .　99

7.2.4　搜索系统的组成 .　100

7.3　向量空间模型对各种查询操作的支持　101

7.3.1　布尔查询　101

7.3.2　通配符查询 .　102

7.3.3　短语查询　102

7.4　参考文献及补充读物 .　102

第　8章 信息检索的评价 .　103

8.1　信息检索系统的评价 .　103

8.2　标准测试集 .　104

8.3　无序检索结果集合的评价 .　105

8.4　有序检索结果的评价方法 .　108

8.5　相关性判定 .　112

8.6　更广的视角看评价：系统质量及用户效用 .　115

8.6.1　系统相关问题 .　115

8.6.2　用户效用　115

8.6.3　对已有系统的改进 .　116

8.7　结果片段 .　116

8.8　参考文献及补充读物 .　118

第　9章 相关反馈及查询扩展　120

9.1　相关反馈及伪相关反馈 .　120

9.1.1　Rocchio相关反馈算法 .　122

9.1.2　基于概率的相关反馈方法　125

9.1.3　相关反馈的作用时机　125

9.1.4　Web上的相关反馈 .　126

9.1.5　相关反馈策略的评价　127

9.1.6　伪相关反馈 .　127

9.1.7　间接相关反馈 .　128

9.1.8　小结　128

9.2　查询重构的全局方法 .　128

9.2.1　查询重构的词汇表工具　128

9.2.2　查询扩展　129

9.2.3　同义词词典的自动构建　130

9.3　参考文献及补充读物 .　131

第　10章 XML检索　133

10.1　XML的基本概念　134

10.2　XML检索中的挑战性问题 .　137

10.3　基于向量空间模型的XML检索 .　140

10.4　XML检索的评价　144

10.5　XML检索：以文本为中心与以数据为中心的对比 .　146

10.6　参考文献及补充读物 .　148

第　11 章 概率检索模型　150

11.1　概率论基础知识 .　150

11.2　概率排序原理　151

11.2.1　1/0风险的情况　151

11.2.2　基于检索代价的概率排序 原理　152

11.3　二值独立模型　152

11.3.1　排序函数的推导 .　153

11.3.2　理论上的概率估计方法　155

11.3.3　实际中的概率估计方法　156

11.3.4　基于概率的相关反馈方法　157

11.4　概率模型的相关评论及扩展　158

11.4.1　概率模型的评论 .　158

11.4.2　词项之间的树型依赖　159

11.4.3　Okapi BM25：一个非二值的 模型　160

11.4.4　IR中的贝叶斯网络 方法　161

11.5　参考文献及补充读物 .　162

第　12章 基于语言建模的信息检索模型　163

12.1　语言模型 .　163

12.1.1　有穷自动机和语言模型　163

12.1.2　语言模型的种类 .　165

12.1.3　词的多项式分布 .　166

12.2　查询似然模型 .　167

12.2.1　IR中的查询似然模型　167

12.2.2　查询生成概率的估计　167

12.2.3　Ponte和Croft进行的实验　169

12.3　语言建模的方法与其他检索方法的 比较 .　171

12.4　扩展的LM方法　172

12.5　参考文献及补充读物 .　173

第　13章 文本分类及朴素贝叶斯方法　175

13.1　文本分类问题 .　177

13.2　朴素贝叶斯文本分类 .　178

13.3　伯努利模型 .　182

13.4　NB的性质　183

13.5　特征选择 .　188

13.5.1　互信息 .　188

13.5.2　2 统计量 .　191

13.5.3　基于频率的特征选择方法　192

13.5.4　多类问题的特征选择方法　193

13.5.5　不同特征选择方法的比较　193

13.6　文本分类的评价 .　194

13.7　参考文献及补充读物 .　199

第　14章 基于向量空间模型的文本 分类　200

14.1　文档表示及向量空间中的关联度计算 .　201

14.2　Rocchio分类方法 .　202

14.3　k近邻分类器　205

14.4　线性及非线性分类器 .　209

14.5　多类问题的分类 .　212

14.6　偏差—方差折中准则 .　214

14.7　参考文献及补充读物 .　219

第　15章 支持向量机及文档机器学习方法　221

15.1　二类线性可分条件下的支持向量机　221

15.2　支持向量机的扩展 .　226

15.2.1　软间隔分类 .　226

15.2.2　多类情况下的支持向量机　228

15.2.3　非线性支持向量机　228

15.2.4　实验结果 .　230

15.3　有关文本文档分类的考虑 .　231

15.3.1　分类器类型的选择　232

15.3.2　分类器效果的提高　233

15.4　ad hoc检索中的机器学习方法 .　236

15.4.1　基于机器学习评分的简单 例子 .　236

15.4.2　基于机器学习的检索结果 排序 .　238

15.5　参考文献及补充读物 .　239

第　16章 扁平聚类 .　241

16.1　信息检索中的聚类应用 .　242

16.2　问题描述　244

16.3　聚类算法的评价 .　246

16.4　K-均值算法　248

16.5　基于模型的聚类 .　254

16.6　参考文献及补充读物 .　258

第　17章 层次聚类 .　260

17.1　凝聚式层次聚类 .　260

17.2　单连接及全连接聚类算法 .　263

17.3　组平均凝聚式聚类 .　268

17.4　质心聚类　269

17.5　层次凝聚式聚类的性 .　270

17.6　分裂式聚类　272

17.7　簇标签生成　273

17.8　实施中的注意事项 .　274

17.9　参考文献及补充读物 .　275

第　18章 矩阵分解及隐性语义索引　277

18.1　线性代数基础　277

18.2　词项—文档矩阵及SVD .　280

18.3　低秩逼近　282

18.4　LSI　284

18.5　参考文献及补充读物 .　288

第　19章 Web搜索基础　289

19.1　背景和历史 .　289

19.2　Web的特性　290

19.2.1　Web图　291

19.2.2　作弊网页　293

19.3　广告经济模型 .　294

19.4　搜索用户体验 .　296

19.5　索引规模及其估计　297

19.6　近似重复及搭叠　300

19.7　参考文献及补充读物 .　303

第　20章 Web采集及索引 .　304

20.1　概述 .　304

20.1.1　采集器必须提供的 功能特点　304

20.1.2　采集器应该提供的功能特点　304

20.2　采集 .　305

20.2.1　采集器架构 .　305

20.2.2　DNS解析 .　308

20.2.3　待采集URL池 .　309

20.3　分布式索引　311

20.4　连接服务器　312

20.5　参考文献及补充读物 .　314

第　21章 链接分析 .　316

21.1　Web图　316

21.2　PageRank.　318

21.2.1　马尔科夫链 .　318

21.2.2　PageRank的计算 .　320

21.2.3　面向主题的PageRank　322

21.3　Hub网页及Authority网页　325

21.4　参考文献及补充读物.　329

参考文献　331

索引　.　356

[美]克里斯托夫·曼宁 （Christopher Manning） 计算机科学家，斯坦福大学教授，斯坦福大学人工智能实验室主任，ACM会士、AAAI会士、ACL会士。目前的研究目标为计

算机如何智能地处理、理解和生成人类语言资料。曼宁博士是深度学习在自然语言处理应用方面的先锋人物，在树递归神经网络、语义分析、神经机器翻译、深度语言理解等方

面均有令业界瞩目的研究成果。

[美]普拉巴卡尔·拉格万（Prabhakar Raghavan）Google高级副总裁，目前负责谷歌的广告与商业产品、基础设施团队。之前作为Google App和Google Cloud的副总裁，带

领团队做出了突出业绩。在加入Google前任职于Yahoo!，是Yahoo!实验室的创建者和负责人。拉格万博士毕业于加州大学伯克利分校，长期担任斯坦福大学计算机科学系顾

问教授，主要研究方向是文本及Web数据挖掘、随机算法等，是美国国家工程院院士、ACM会士、IEEE会士。

[德]欣里希·舒策（Hinrich Schütze） 德国慕尼黑大学信息与语言处理中心主任，计算语言学家，斯坦福大学博士。曾在美国硅谷工作多年。

王斌 博士，小米公司AI实验室NLP方向首席科学家，前中国科学院信息工程研究所研究员、博导，中国科学院大学教授。

* 博士，中国科学院信息工程研究所高级工程师，硕士生导师。

暂无出版社相关信息，正在全力查找中！

暂无相关书籍摘录，正在全力查找中！

在线阅读地址：信息检索导论 修订版 搜索引擎机器学习数值计算方法在线阅读

在线听书地址：信息检索导论 修订版 搜索引擎机器学习数值计算方法在线收听

在线购买地址：信息检索导论 修订版 搜索引擎机器学习数值计算方法在线购买

The term “unstructured data” refers to datawhich does not have clear, semantically overt, easy-for-a-computer structure.

A proximity operator is a way of specifying that two terms in a query must occur close to each other in a document, where closeness may be measured by limiting the allowed number of intervening words or by reference to a structural unit such as a sentence or paragraph.

INTERSECTWITHSKIPS(p1, p2)

1 answer ← h i

2 while p1 = NIL and p2 = NIL

3 do if docID(p1) = docID(p2)

4 then ADD(answer, docID(p1))

5 p1 ← next(p1)

6 p2 ← next(p2)

7 else if docID(p1) < docID(p2)

8 then if hasSkip(p1) and (docID(skip(p1)) ≤ docID(p2))

9 then while hasSkip(p1) and (docID(skip(p1)) ≤ docID(p2))

10 do p1 ← skip(p1)

11 else p1 ← next(p1)

12 else if hasSkip(p2) and (docID(skip(p2)) ≤ docID(p1))

13 then while hasSkip(p2) and (docID(skip(p2)) ≤ docID(p1))

14 do p2 ← skip(p2)

15 else p2 ← next(p2)

16 return answer

(1) How many keys are we likely to have?

(2) Is the number likely to remain static, or change a lot, and in the case of changes, are we likely to only have new keys inserted, or to also have some keys in the dictionary be deleted?

(3) What are the relative frequencies with which various keys will be accessed?

1. Retain the first letter of the term.

2. Change all occurrences of the following letters to ’0’ (zero): ’A’, E’, ’I’, ’O’,

’U’, ’H’, ’W’, ’Y’.

3. Change letters to digits as follows:

B, F, P, V to 1.

C, G, J, K, Q, S, X, Z to 2.

D,T to 3.

L to 4.

M, N to 5.

R to 6.

4. Repeatedly remove one out of each pair of consecutive identical digits.

5. Remove all zeros from the resulting string. Pad the resulting string with

trailing zeros and return the first four positions, which will consist of a

letter followed by three digits.

BSBINDEXCONSTRUCTION()

1 n ← 0

2 while (all documents have not been processed)

3 do n ← n +1

4 block ← PARSENEXTBLOCK()

5 BSBI-INVERT(block)

6 WRITEBLOCKTODISK(block, fn)

7 MERGEBLOCKS( f1, . . . , fn; fmerged)

书籍介绍

本书是信息检索的教材，旨在从计算机科学的视角提供一种现代的信息检索方法。书中从基本概念讲解网络搜索以及文本分类和文本聚类等，对收集、索引和搜索文档系统的设计和实现的方方面面、评估系统的方法、机器学习方法在文本收集中的应用等给出了最新的讲解。

什么是排序SVM、XML、DNS和LSI？什么是信息检索中的垃圾信息、隐藏页和门页？MapReduce和其他一些并行运算方法是如何实现由兆字节到百万兆字节的飞跃的？这些问题你都能从本书中找到答案。本书首次将构建Web搜索引擎的复杂过程以一种清晰的全景方式展现给读者。——Peter Norvig，计算机科学家，Google研发总监

本书对信息检索这个举足轻重、发展迅猛的领域进行了全面、准确的介绍，是一本不可多得的教材。——Raymond Mooney，得克萨斯大学奥斯汀分校教授

本书选材独特，对信息检索的基础知识和发展方向进行了生动描述。——Jon Kleinberg，康奈尔大学教授

• 作者： 这是坠吼的 发布时间：2024-01-12 14:15:39

  每天午休前读几页，断断续续用了一年终于读完

• 作者： Moonquake 发布时间：2021-12-16 00:44:12

  NLP启蒙

• 作者： 荧光洗脚皮 发布时间：2020-08-10 20:49:11

  耐心看下大部头实在不是一件很容易的事。

  8.9finish reading 对心理变化的捕捉能力太强了

• 作者： 才难破赋意 发布时间：2019-08-08 13:09:26

  对于原理讲得很清晰，逐步引导读者实现搜索引擎，加深对信息检索的理解

• 作者： Moon 发布时间：2022-12-29 22:07:37

  填补了我很多知识的空白～

• 作者： 云飞风起e 发布时间：2022-03-19 22:43:42

  偏重算法，回头备查

• 对信息检索介绍的很全面，深入浅出

  作者：leeosun 发布时间：2012-07-05 20:23:47

• 宏观，广阔

  作者：啊哈 发布时间：2019-06-23 16:14:40

  最重要的收获，是对信息检索系统（搜索引擎）有一个宏观的认识，大体上说，需要从两个维度来看：

  第一个是查询维度，它的核心，是两个索引结构；其一是字典，其二是倒排拉链和正排索引；

  字典的职责，是把 query 变成 term set；期间用到了多种技术，如：语义扩展（同义词、拼写校正）、k-gram 索引等等；

  倒排拉链的职责，有两个，是完成 term 到文档列表的映射；同时，由于从倒排拉链中获取的文档数量，直接影响了后续计算量的大小，这里需要考虑拉链中文档的排序，往往会使用静态得分技术（如机器学习打分），按照得分高低进行排序；并借助此静态得分，对索引进行分层，核心思想，就是提早剪枝；

  正排索引的职责，是获取评分所需要的信息（如：tf-idf），一些文档聚类的信息（如 返回了文档 A，可以再返回与 文档 A 统一类的文档，来增强查询的召回率）；

  最后，需要对返回的结果进行再打分（重排序）、并计算相关性（可以用 tf-idf、可用概率检索模型等等技术），一般是在这里引入了 query 相关的信息，比如：在静态打分的基础上，基于向量模型，计算query 与文档的相似度；

  第二个是数据维度，包括了爬取、索引的构建和预计算；

  这里就是大名鼎鼎的 mapreduce 和 pagerank 发挥作用的地方了；当时，前面提到的文档聚类，和各种与 query 无关的剪枝、打分技术，都是在这个阶段完成的；

  另外，值得注意的是，由于某些正排索引中所需要的信息是全局的（tf-idf），但是物理上上，索引是分片的，这些信息一是在此过程计算的；

  目前就了解到这，后面再好好读读，尤其是那些年我们一起忽略的各种算法和数学公式 ...