1. 数据集介绍

数据集目录结构:

BEIR-Name/ 
├── qrels/ 
│ └── test.tsv  #  query-id    corpus-id   score
├── corpus.jsonl  # {"_id": , "title": ,"text": , "metadata": } 
└── queries.jsonl  # {"_id": , "text": , "metadata": } 

2. 评价指标

信息检索的评价指标，包括Recall、Accuracy、Precision、MAP、MRR、NDCG等，在contriever中主要关注 Recall 和 NDCG，并针对 Top-k 个结果进行计算，即以 Recall@k 和 NDCG@k 作为评价指标。

给定一组查询 $\mathcal{Q}=\{q_1,q_2,\dots ,q_n\}$，和一组文档 $\mathcal{D}=\{d_1,d_2,\dots ,d_m\}$。对于每个查询 $q$，检索模型会计算 $q$ 和 $\mathcal{D}$ 中每个文档的相关度值，即 $s(q,\mathcal{D})=\{s(q,d_1),s(q,d_2),\dots ,s(q,d_m)\}$

Recall@k：

• 定义：对于给定的查询 $q$，我们以 $s(q,\mathcal{D})$ 中得分最高的前 $k$ 个文档作为检索结果，$\text{Recall@}k$ 旨在计算 检索结果中和查询 $q$相关的文档数，占 文档集 $\mathcal{D}$ 中和查询 $q$相关的文档数 的比值。
• 若以$\mathrm{\#}{\text{ rel}}_q$ 作为 $\mathcal{D}$ 中所有和查询 $q$ 相关的文档；以 $\mathrm{\#}{\text{ retr}}_{q,k}$ 作为检索结果中，真正和查询 $q$ 相关的文档，则可得如下公式：

• 由于我们需要评估一组查询 $\mathcal{Q}$，故对 单个查询 $q$ 的 $\text{Recall@}k$ 值进行求和取平均，得到最终公式如下所示：

NDCG@k：全称为 Normalize Discounted Cumulative Gain，其公式如下：

• Gain：给定查询 $q$ 和 文档集 $\mathcal{D}$， $q$ 和 $\mathcal{D}$ 中的每个文档 $d_i$ 可评测出一个真实的相关性得分，即为Gain，这一组相关性得分通常用 $rel=[gai{n}_1,gai{n}_2,\dots ,gai{n}_m]$ 进行表示。

• CG(Cumulative Gain)：将检索结果的相关性评分累加起来，不考虑检索结果的排序。如果指定 $k$，则以 $s(q,\mathcal{D})$ 中得分最高的前 $k$ 个文档作为检索结果，并只累计它们的相关性评分。这里以 $re{l}_i$ 作为 查询 $q$ 和 检索结果中第 $i$ 个文档 的 相关性分数

• DCG(Discounted Cumulative Gain)：对CG的一种改进，通过引入位置折扣因子$\frac{1}{lo{g}_2(i+1)}$来考虑检索结果的排序，给定 $k$ 时，则有下式：

• IDCG(Ideal Discounted Cumulative Gain):：最理想的检索结果，即检索结果为 $rel$ 降序排列后的顺序，给定 $k$ 时，则取降序排列后的 $rel$ 的前 $k$ 个 gain 进行计算，计算公式同 DCG。

注：由于 $s(q,\mathcal{D})$ 中可能存在并列分数，但它们对应的相关性得分不一定相同，因此检索结果可能存在不同排序，这时 DCG 的计算结果也将不一致。故在 NDCG@k 实现过程中一个小 trick，即先对 doc_id 进行降序排列，确保 doc_id 顺序的一致性，这样实现的结果才会和 官方结果 一致

参考：

• [1] 信息检索中的评价指标
• [2] 谈谈NDCG的计算

3. 实验结果

contriever提供了多个预训练模型，但我们只要使用在 CCnet 和 English Wikipedia 上无监督预训练得到的权重 facebook/contriever，完成下面这些 Dataset 上的实验即可。