系统评价中利用英特网检索未发表临床试验的有效性评价(上)
http://www.100md.com
中国循证医学杂志
[摘要] 目的 为避免选择和发表偏倚，系统评价者应采用多种查询技术，并尽力获得未发表的研究。本文试图探讨，英特网检索对鉴定未发表和正在进行的临床试验是否有用。研究设计 利用七个Cochrane系统评价的查询策略回顾性地在英特网上检索未纳入的随机对照试验。方法 检索策略 以普通检索式"研究方法学NEAR干预措施NERA条件"、用Alta Vista在英特网上搜索。测量指标包括搜索时间、英特网搜索已发表研究的回溯率、精确度(已发表和未发表的随机临床试验链接的网页比例)、英特网检索到的未纳入的未发表和正在进行的研究数。结果 用21小时查询了429个网页，找到14个链接到未发表的、正在进行的或最近完成的试验，至少有9个与4篇系统评价相关。英特网检索已发表研究文献的回溯率在0～43.6%，其链接已发表和未发表研究的精确度在0～20.2%。结论 未发表尤其是正在进行的试验的信息可在英特网上找到。潜在的问题是如何评价未经同行评审的电子出版物的质量。急需更强的搜索工具。建议用"Open Trial Initiative"定义英特网发表试验的语法，以加强试验登记的共同操作性。因此，专门的搜索引擎可找到更多有关正在进行和已完成的临床试验信息。
, http://www.100md.com
[关键词] 信息储蓄和回溯率 英特网 资料收集 Meta-分析 临床试验 评价研究 发表偏倚 回溯率 精确度 循证医学
Evaluation of the usefulness of Internet searches to identify unpublished clinical trials for systematic reviews
Gunther Eysenbach，Jens Tuische and Thomas L.Diepgen
(Department of Clinical Social Medicine, University of Heidelberg, Bergheimer Str.58，69115 Heidelberg, Germany)
ABSTRACT: Primary objective To :avoid selection and publication bias，systematic reviewers should employ a bread range of search techniques and make efforts to locate unpublished studies. We tried to establish whether searches on the world Wide Web(WWW)are useful to identify additional unpublished and ongoing clinical trials. Research design Search strategies of seven Cochrane systematic reviews were retrospectively adapted for the WWW in an attempt to find additional randomized controlled trials. Methods and procedures A search strategy with the general pattern "study methodology NEAR intervention NEAR condition"for the Internet search engine Alta Visa was evaluated by measuring search time, recall of Internet searched for published studies; precision(proportion of webpages containing hints to relevant published and unpublished randomized clinical trials)number of additional unpublished or ongoing studies found on the Internet. Main outcomes and results We reviewed 429 webpages in 21 hours and found hints to 14 unpublished，ongoing or recently finished trials，at least 9 were considered relevant for 4 systematic reviews. The recall of Internet searches to find reference to published studies range between O and 43.6%，the precision for hints to published unpublished studies range between O and 20.2%. Conclusions Information on unpublished and particularly ongoing trials can be found on Internet. A potential problem is the appraisal of non-peer reviewed electronic electronic publications with quality. More powerful search tools are needed. An"Open Trial Initiative"is proposed to define a syntax for publishing trials on the wed and to ensure interoperability of trial registers, so that special search engine can harvest information on ongoing and complete clinical trials.
, 百拇医药
Key words: Information storage and retrieval；Internet；data collection；meta-analysis; clinical trials; evaluation studies; publication bias; recall; precision; evidence-based medicine
1 前言
发表偏倚是影响系统评价和Meta-分析的内部真实性的主要因素。系统评价应采用多种策略鉴定试验并纳入未发表的试验结果以避免发表偏倚。尽管对如何评价未发表的资料并将其融入系统评价仍有争议，但都一致认为应尽力检索并获得未发表的资料。实践证明：通过《Cochrane协作网手册》建议的试验登记、查找文后的参考文献、手检、个人交流等方法是有效的。
英特网鉴定信息的作用还不清楚。虽然有许多非正式的报道表明英特网对于鉴定研究是有用的，但至今没有系统的研究证实英特网检索证据是否有用，更没有已成熟的检索策略及评估方法。现行的《Cochrane协作网手册》和Cochrane协作网评价组，就系统评价中应如何使用英特网没有任何建议。对不同的英特网搜索工具和检索策略对系统评价的有效性和适合性了解不多。发表于1998年Cochrane图书馆第2期的377篇完整的系统评价中，只有15篇的作者提到了使用过英特网。因此，尚不清楚"不完全的系统评价"(可能存在潜在偏倚)和那些使用了英特网检索的系统评价之间有多大的差别不太清楚。
, http://www.100md.com
本研究旨在用普通的搜索引擎检索获得未用英特网检索的系统评价者未提到的研究。并试图回答一些对评价者有用的问题。如哪些网址提供未发表研究的链接，哪些检索工具和策略能够在合适的时间内检索和评价所需信息。
本研究试图探明，万维网的信噪比是否足以将英特网检索用作正规的检索工具，并为评价者发展检索工具提供研究方向。
2 方法
2.1 确定合适的检索工具和检索策略
搜索引擎索引动态数据库(PubMed)内容。
适于处理复杂询问的搜索引擎有：AltaVista, Excite, FAST, Google, HotBot, Infoseek, Lycos, Northern Light, Web Crawler, Medical World Search, MedHunt。网上的文件未用可控制的关键词标引，因此网上检索需要用复杂的询问字符串(布尔逻辑)。著录数据库只有学术文献的摘要，找到相关文章的可能性更大，而网上包括成千上万的文件如产品信息和病人信息等。因此，要检索到成千上万的相关文件，精心设计、专门的检索是必需的。而进行英特网专门检索需用"OR"连接同义词、截词、并用"NEAR"操作符(尤其是两个词语必须出现在同一句子里并相互靠近时)是必要的。
, 百拇医药
2.2 检索策略
英特网检索需要在回溯率和精确度之间有一个平衡点。在各自的主题领域获得依靠于有效的人力检索网页和检索精确度，相对著录的数据库，发展英特网检索策略是一个更主观的过程。
本次研究的检索策略是用NEAR操作符连接"干预措施"、"条件"、"试验"三个概念，如"(study or trial or random * or evaluat*)NEAR(intervention OR intervention-synonyms)NEAR(condition OR condition-synonyms)"。NEAR操作符允许将检索限在概念相关的文件上。AND操作符导致很多的"假阳性"链接。这些检索策略更注重于专门性而不是敏感性。对某些主题，网上能找到的文件较少，用AND代替NEAR操作符可能敏感性更好。
"干预措施"、"条件"应加上不同的同义词，用OR连接。词根用截词操作符，不同的文法形式、拼写形式和不同语种的文献都可检索到。询问式的最大长度及复杂性受搜索引擎的限制，因此，复杂的询问式须用独立的检索代替。
, http://www.100md.com
2.2.1 限制检索范围
如果最初的检索导致太多的链接，则采用如下检索策略：若检索词导致了不专一的结果，则移去这些不专一的检索词；导致假阳性结果，则改为同义词或删去截短的那部分。
在某些特殊情况下，用大写字母可缩小检索范围而避免不需要的结果(如将"aids"变成"AIDS")，将所检索的单词转换成大写，AltaVista搜索引擎更敏感。同样，在某些情况下，可考虑用短语检索如"甲状腺疾病"，或用"NEAR"操作符组合单词(如"过敏"NEAR"湿疹")。也可用NOT操作符筛选相关的网页。
2.2.2 扩大检索范围
扩大检索范围的策略是用OR组合在统一医学语言系统(United Medical Language System，UMLS)中的单词。外语中有拼写变化的单词也可加上。搜索引擎处理长字符串的能力有限，因此使用同义词的数量应限制。
, http://www.100md.com
用AND代替NEAR操作符，也可进一步扩大检索范围。如"研究AND(干预措施NEAR条件)"或"研究NEAR(条件AND干预措施)"或用AND连接三个中任两个概念。对某些特殊的检索，也可去掉"研究"，只检索"干预措施NEAR条件"或"干预措施AND条件"。当然，这种检索方式会导致很多假阳性链接。
2.3 选择系统评价和检索策略
从Cochrane图书馆1998年第2期中标记更新的系统评价(Cochrane systematic reviews, CSRs)中选出7篇，没有一篇描述过使用英特网检索。分析了系统评价方法学部分描述的著录数据库的检索策略，制定了适于AltaVista检索策略的检索词。据相关的运算法则，若链接数超过200则缩小检索范围。
1998年12月开始英特网检索。筛选出与系统评价相关(这里的相关是指评价者应该评价的研究，而不管其被纳入或排除)的问题、已发表信息的参考文献、未发表和正在进行的研究的网页。
, 百拇医药
如果网页上有已发表文献的信息，则与系统评价中引用的纳入或排除研究的参考文献或"正待评价的试验"做比较。比较结果用于计算回溯率。
2.4 回溯率和精确度估计
接受指标通过信息检索系统的有效性或检索策略的回溯率和精确度来决定。类似于诊断测试的敏感性和特异度，回溯率和精确度定义如下：
回溯率=检索到和相关的文件数/相关的文件
数精确度=检索到和相关的文件数/检索到的文件数
为估计检索的敏感性，计算已发表研究的回溯率定义在网上检索到的已发表的研究或文献数除以系统评价中提到的"纳入"或"排除"的已发表研究数。这不应与实际的试验回溯率(定义为网上找到的发表和未发表研究的链接数除以相关的发表和末发表的研究数)混淆，如果分母已知，就可获得这个数字。在某种情况(对一个已知问题我们并不知道有多少未发表试验)，用已发表试验的回溯率来间接估计。检索的精确度用可能与系统评价相关的发表和未发表研究(包括计划的和正在进行的)链接的网页数目除以检索到的文件总数来计算。本研究中选择包含链接的网页数或是鉴别研究的链接数并不很重要，因为每个网页指向不同的研究。
, 百拇医药
2.5 临床评价
若找到将要或正在进行的研究，则尽可能地获得相关信息：与网页作者联系或调查试验，并进一步用MEDLINE检索确认其是否已发表。
与CSR作者联系，并请其就这些研究与CSR的相关性进行评论，以鉴别这些研究是否与系统评价具有潜在相关。并询问作者是否已知道这些研究。
为进一步鉴定网上查到的研究的相关性，于2000年3月，即在检索15月之后，检索了MEDLINE和最新版本的Cochrane图书馆2000年第1期，检查以前没有发表的研究在这段时间内是否已发表或在系统评价中提到"正在进行"、"排除"、"纳入"、"正待评价的研究"。, 百拇医药
, http://www.100md.com
[关键词] 信息储蓄和回溯率 英特网 资料收集 Meta-分析 临床试验 评价研究 发表偏倚 回溯率 精确度 循证医学
Evaluation of the usefulness of Internet searches to identify unpublished clinical trials for systematic reviews
Gunther Eysenbach，Jens Tuische and Thomas L.Diepgen
(Department of Clinical Social Medicine, University of Heidelberg, Bergheimer Str.58，69115 Heidelberg, Germany)
ABSTRACT: Primary objective To :avoid selection and publication bias，systematic reviewers should employ a bread range of search techniques and make efforts to locate unpublished studies. We tried to establish whether searches on the world Wide Web(WWW)are useful to identify additional unpublished and ongoing clinical trials. Research design Search strategies of seven Cochrane systematic reviews were retrospectively adapted for the WWW in an attempt to find additional randomized controlled trials. Methods and procedures A search strategy with the general pattern "study methodology NEAR intervention NEAR condition"for the Internet search engine Alta Visa was evaluated by measuring search time, recall of Internet searched for published studies; precision(proportion of webpages containing hints to relevant published and unpublished randomized clinical trials)number of additional unpublished or ongoing studies found on the Internet. Main outcomes and results We reviewed 429 webpages in 21 hours and found hints to 14 unpublished，ongoing or recently finished trials，at least 9 were considered relevant for 4 systematic reviews. The recall of Internet searches to find reference to published studies range between O and 43.6%，the precision for hints to published unpublished studies range between O and 20.2%. Conclusions Information on unpublished and particularly ongoing trials can be found on Internet. A potential problem is the appraisal of non-peer reviewed electronic electronic publications with quality. More powerful search tools are needed. An"Open Trial Initiative"is proposed to define a syntax for publishing trials on the wed and to ensure interoperability of trial registers, so that special search engine can harvest information on ongoing and complete clinical trials.
, 百拇医药
Key words: Information storage and retrieval；Internet；data collection；meta-analysis; clinical trials; evaluation studies; publication bias; recall; precision; evidence-based medicine
1 前言
发表偏倚是影响系统评价和Meta-分析的内部真实性的主要因素。系统评价应采用多种策略鉴定试验并纳入未发表的试验结果以避免发表偏倚。尽管对如何评价未发表的资料并将其融入系统评价仍有争议，但都一致认为应尽力检索并获得未发表的资料。实践证明：通过《Cochrane协作网手册》建议的试验登记、查找文后的参考文献、手检、个人交流等方法是有效的。
英特网鉴定信息的作用还不清楚。虽然有许多非正式的报道表明英特网对于鉴定研究是有用的，但至今没有系统的研究证实英特网检索证据是否有用，更没有已成熟的检索策略及评估方法。现行的《Cochrane协作网手册》和Cochrane协作网评价组，就系统评价中应如何使用英特网没有任何建议。对不同的英特网搜索工具和检索策略对系统评价的有效性和适合性了解不多。发表于1998年Cochrane图书馆第2期的377篇完整的系统评价中，只有15篇的作者提到了使用过英特网。因此，尚不清楚"不完全的系统评价"(可能存在潜在偏倚)和那些使用了英特网检索的系统评价之间有多大的差别不太清楚。
, http://www.100md.com
本研究旨在用普通的搜索引擎检索获得未用英特网检索的系统评价者未提到的研究。并试图回答一些对评价者有用的问题。如哪些网址提供未发表研究的链接，哪些检索工具和策略能够在合适的时间内检索和评价所需信息。
本研究试图探明，万维网的信噪比是否足以将英特网检索用作正规的检索工具，并为评价者发展检索工具提供研究方向。
2 方法
2.1 确定合适的检索工具和检索策略
搜索引擎索引动态数据库(PubMed)内容。
适于处理复杂询问的搜索引擎有：AltaVista, Excite, FAST, Google, HotBot, Infoseek, Lycos, Northern Light, Web Crawler, Medical World Search, MedHunt。网上的文件未用可控制的关键词标引，因此网上检索需要用复杂的询问字符串(布尔逻辑)。著录数据库只有学术文献的摘要，找到相关文章的可能性更大，而网上包括成千上万的文件如产品信息和病人信息等。因此，要检索到成千上万的相关文件，精心设计、专门的检索是必需的。而进行英特网专门检索需用"OR"连接同义词、截词、并用"NEAR"操作符(尤其是两个词语必须出现在同一句子里并相互靠近时)是必要的。
, 百拇医药
2.2 检索策略
英特网检索需要在回溯率和精确度之间有一个平衡点。在各自的主题领域获得依靠于有效的人力检索网页和检索精确度，相对著录的数据库，发展英特网检索策略是一个更主观的过程。
本次研究的检索策略是用NEAR操作符连接"干预措施"、"条件"、"试验"三个概念，如"(study or trial or random * or evaluat*)NEAR(intervention OR intervention-synonyms)NEAR(condition OR condition-synonyms)"。NEAR操作符允许将检索限在概念相关的文件上。AND操作符导致很多的"假阳性"链接。这些检索策略更注重于专门性而不是敏感性。对某些主题，网上能找到的文件较少，用AND代替NEAR操作符可能敏感性更好。
"干预措施"、"条件"应加上不同的同义词，用OR连接。词根用截词操作符，不同的文法形式、拼写形式和不同语种的文献都可检索到。询问式的最大长度及复杂性受搜索引擎的限制，因此，复杂的询问式须用独立的检索代替。
, http://www.100md.com
2.2.1 限制检索范围
如果最初的检索导致太多的链接，则采用如下检索策略：若检索词导致了不专一的结果，则移去这些不专一的检索词；导致假阳性结果，则改为同义词或删去截短的那部分。
在某些特殊情况下，用大写字母可缩小检索范围而避免不需要的结果(如将"aids"变成"AIDS")，将所检索的单词转换成大写，AltaVista搜索引擎更敏感。同样，在某些情况下，可考虑用短语检索如"甲状腺疾病"，或用"NEAR"操作符组合单词(如"过敏"NEAR"湿疹")。也可用NOT操作符筛选相关的网页。
2.2.2 扩大检索范围
扩大检索范围的策略是用OR组合在统一医学语言系统(United Medical Language System，UMLS)中的单词。外语中有拼写变化的单词也可加上。搜索引擎处理长字符串的能力有限，因此使用同义词的数量应限制。
, http://www.100md.com
用AND代替NEAR操作符，也可进一步扩大检索范围。如"研究AND(干预措施NEAR条件)"或"研究NEAR(条件AND干预措施)"或用AND连接三个中任两个概念。对某些特殊的检索，也可去掉"研究"，只检索"干预措施NEAR条件"或"干预措施AND条件"。当然，这种检索方式会导致很多假阳性链接。
2.3 选择系统评价和检索策略
从Cochrane图书馆1998年第2期中标记更新的系统评价(Cochrane systematic reviews, CSRs)中选出7篇，没有一篇描述过使用英特网检索。分析了系统评价方法学部分描述的著录数据库的检索策略，制定了适于AltaVista检索策略的检索词。据相关的运算法则，若链接数超过200则缩小检索范围。
1998年12月开始英特网检索。筛选出与系统评价相关(这里的相关是指评价者应该评价的研究，而不管其被纳入或排除)的问题、已发表信息的参考文献、未发表和正在进行的研究的网页。
, 百拇医药
如果网页上有已发表文献的信息，则与系统评价中引用的纳入或排除研究的参考文献或"正待评价的试验"做比较。比较结果用于计算回溯率。
2.4 回溯率和精确度估计
接受指标通过信息检索系统的有效性或检索策略的回溯率和精确度来决定。类似于诊断测试的敏感性和特异度，回溯率和精确度定义如下：
回溯率=检索到和相关的文件数/相关的文件
数精确度=检索到和相关的文件数/检索到的文件数
为估计检索的敏感性，计算已发表研究的回溯率定义在网上检索到的已发表的研究或文献数除以系统评价中提到的"纳入"或"排除"的已发表研究数。这不应与实际的试验回溯率(定义为网上找到的发表和未发表研究的链接数除以相关的发表和末发表的研究数)混淆，如果分母已知，就可获得这个数字。在某种情况(对一个已知问题我们并不知道有多少未发表试验)，用已发表试验的回溯率来间接估计。检索的精确度用可能与系统评价相关的发表和未发表研究(包括计划的和正在进行的)链接的网页数目除以检索到的文件总数来计算。本研究中选择包含链接的网页数或是鉴别研究的链接数并不很重要，因为每个网页指向不同的研究。
, 百拇医药
2.5 临床评价
若找到将要或正在进行的研究，则尽可能地获得相关信息：与网页作者联系或调查试验，并进一步用MEDLINE检索确认其是否已发表。
与CSR作者联系，并请其就这些研究与CSR的相关性进行评论，以鉴别这些研究是否与系统评价具有潜在相关。并询问作者是否已知道这些研究。
为进一步鉴定网上查到的研究的相关性，于2000年3月，即在检索15月之后，检索了MEDLINE和最新版本的Cochrane图书馆2000年第1期，检查以前没有发表的研究在这段时间内是否已发表或在系统评价中提到"正在进行"、"排除"、"纳入"、"正待评价的研究"。, 百拇医药