应用漏斗图识别发表性偏倚的效率研究

来源:岁月联盟 作者:杨书 李婷婷 刘新 时间:2010-07-12

【摘要】    目的 在Meta分析中,发表性偏倚的存在常常会导致对效应量的过高估计,漏斗图是目前较常用的用以识别发表性偏倚的方法之一,本研究通过对发表性偏倚的可能性来源与漏斗图工作原理的深入探讨,对漏斗图判断发表性偏倚的效率进行评价。方法 采用问卷调查的形式,准确度(AC)、正确指数(Youden's index)等指标。结果 实验组A、B、C三型问卷的平均准确度分别为52.3%、57.5%、62.2%,对照组分别为51.2%、54.6%、60.1%。两组比较差别无统计学意义。结论 用漏斗图方法来识别发表性偏倚效率低且易得出错误结论。

【关键词】  漏斗图;发表性偏倚;Meta-分析;问卷

    Abstract:Objective Publication bias can lead to overestimation in Meta-analysis.The funnel plot is frequently used to detect such biases as a usual tool.The aim of this article is to determine whether the researchers can correctly identify publication bias from visual inspection of funnel plots in diverse-size Meta-analysis.Methods The Youden's index and the percentage of plots which were correctly identified were calculated from the questionnaires.Results The mean percentages of plots correctly identified by experiment group in the three type questionnaire were 52.3%、57.5%、62.2% respectively.These data were not significantly different from the controls which were 51.2%,54.6%,60.1% respectively.Conclusion The effectiveness of funnel plot used in detecting publication bias was low and this method often led to mistake conclusion.

    Key words:funnel plot;publication bias;Meta-analysis;questionnaire

 发表性偏倚是由研究结果的方向和性质决定的一种选择偏倚。MeSH上的定义是:由于研究者、评价者、编辑者在提交、接受、发表等诸方面的偏好是基于研究结果的方向和强度,从而导致的发表机会不同和对结果造成的影响[1]。即缺少阳性结果的研究往往不容易被发表,从而对系统评价、Meta-分析等产生一系列不良影响。漏斗图是识别发表性偏倚的常用方法之一[2],由于操作简单、直观而被广泛应用。其原理[3]如下:以样本含量(或效量标准误的倒数)为纵坐标,以效应量(或效应量的对数)为横坐标绘制散点图。其基本假设就是效应量估计值的精度随着样本含量的增加而增加,变异幅度逐渐变窄,最后趋于点状,其形状类似一个倒置的漏斗,故称漏斗图。当存在发表性偏倚时,漏斗图表现为不对称分布如下图[4]。

    本研究通过问卷的形式,分别对临床专业大学生和具有临床流行病学经验的老师进行调查并比较,来分析、评价漏斗图的识别效率,为下一步进行新方法的开发提供依据。

    1  对象与方法

    1.1  对象

    1.1.1  对照组  临床专业大四学生,随机抽取10图1  标准漏斗图示意图 ○表示未发表的研究,●表示已经发表的研究。

    Fig.1 Schematic diagram of funnel plot ○ unpublished resea ch ● published research

    名,向他们讲解漏斗图的原理及使用方法,至其理解、掌握。然后发放问卷做答并记录结果。

    1.1.2  实验组  向全国15所医学高等院校的临床流行病学教研室或卫生统计教研室挂号邮寄问卷,要求有临床流行病学和Meta-分析经验的老师或研究生做答。收回问卷12份,其中1份无效,剩下11份纳入研究。

    1.2  方法

    1.2.1  问卷  每张问卷的内容分三部分。首先是对漏斗图使用方法和原理的介绍,其次是由模拟[5]产生的10个漏斗图,其中5个存在发表性偏倚而另外5个没有,随机排列,每个漏斗图下面有两个选项:1、认为存在发表性偏倚;2、认为不存在发表性偏倚,要求任选其一。最后留出空间允许答卷者写上自己的意见。问卷分成A、B、C三种类型,A型问卷的每个漏斗图包含10个研究,B型问卷的每个漏斗图包含15个研究,C型问卷的每个漏斗图包含20个研究。对每个答卷者分别发放A、B、C型问卷各一张,要求依次做答。

    1.2.2  统计学处理  计算正确率、正确指数,组间比较所用统计方法为成组设计t 检验和趋势方差分析。

    2  结果

    2.1  实验组和对照组对比

    实验组A、B、C三型问卷的平均准确度分别为52.3%、57.5%、62.2%,对照组分别为51.2%、54.6%、60.1%。经t检验三型问卷的平均正确率在实验组和对照组间均无差别,P值分别为0.37、0.15、0.18,可见有无临床流行病学基础和Meta-分析经验对正确识别发表性偏倚帮助不大。进一步正确指数并比较,也得到了相同的结论。

    2.2  三型问卷间的比较

    经趋势方差分析可以发现:正确率会随着所包含的研究个数的增加而增加(P=0.017),但都较低,尤其是A型问卷(每个漏斗图包含10个研究),正确率接近50%。而目前诸多的Meta-分析中,大都只包含10个甚至10个以内的研究。由此可见漏斗图识别发表性偏倚的效率并不高。

    3  讨论

    漏斗图方法的使用在学术界一直存在争议,因为可能致使其不对称的原因有很多,比如机会、异质性、效应量的选择、测量精度的选择等,而并不一定是发表性偏倚的影响[6,7]。从本研究的结果来看,其效率是非常低的,尤其对于只包含10个或10个以内研究的Meta-分析,接近50%。在对比分析时发现,有无临床流行病学经验对识别结果帮助不大,基本上还只是靠主观的视觉判断。在三型问卷的趋势分析时可以得出正确率会随着包含研究个数的增加而增加的结论,但意义不大,因为包含20个以上研究的Meta-分析并不常见,大多数还只包含10个以内。

    导致漏斗图效率低下,可能有以下因素:①能够导致漏斗图不对称的原因有很多,可能更大程度上是异质性而非发表性偏倚。在Meta-分析中,我们很难保证纳入分析的各个研究具有相同的研究方法、相同的研究质量,也不能保证病人具有相同的疾病严重程度,甚至相同的性格特征,其他诸如文化、地域、种族上的差别更是无从控制。如此做出的散点图,我们没有理由期望它会是一个对称的漏斗形状。②选择不同的效应量,对图形的形状会有较大的影响。③如果样本含量的大小和效应量间有潜在的关联,则漏斗图会得出错误的结论。例如,越是低钠饮食就越能引起钠降低也越能引起血压变化,而越是严重的高血压患者往往越是注重低钠饮食,这种病例如果出现在小样本的研究中,则会得出钠降低越多,血压变化越大的结论,且关联强度(效应量)会大于大样本的研究,这种样本含量和效应量间的潜在关联会导致漏斗图的不对称,而这种不对称和发表性偏倚没有任何关系。

    综上所述,漏斗图只能用来判断图形是否对称,而不能用来识别发表性偏倚是否存在。

【】
  [1]Anne O Carter,Glenn H Griffin,Thomas P.A Survey Identified Publication Bias in the Secondary Literature[J].Journal of Clinical Epidemiology,2006,59:241-245.

[2]Matthias Egger,George Davey Smith,Martin Schneider,et al.Bias in Meta-analysis Detected by a Simple,Graphical Test[J].British Medical Journal,1998,315:629-634.

[3]王家良.循证医学[M].北京:人民卫生出版社, 2005:71-72.

[4]Derrick A Bennett,Nancy K Latham,Caroline Stretton,et al. Anderson Capture-recapture Is a Potentially Useful Method for Assessing Publication Bias[J].Journal of Clinical Epidemiology,2004,57:349-357.

[5]Terrin N,Schmid CH,Lau J,et al.Adjusting for Publication Bias in the Presence of Heterogeneity[J].Stat Med,2003,22:2 113-2 126.

[6]Schwarzer G,Antes G,Schumacher M. Inflation of Type I Error Rate in Two Statistical Tests for the Detection of Publication Bias in Metaanalyses with binary outcomes[J].Stat Med,2002,21:2 465-2 477.

[7]Tang J-L,Liu JLY. Misleading Funnel Plot for Detection of Bias in Meta-analysis[J].Journal of Clinical Epidemiology,2000,53:477-484.