系统评价和meta分析质量的评价方法
作者：张俊华, 商洪才, 张伯礼
【摘要】 循证医学提倡任何健康相关决策的制订均需可靠证据的支持。系统评价是高质量证据的来源，能为临床医生、患者及其他决策者提供重要信息，但如果评价员没有很好地掌握系统评价的方法，特别是meta分析使用不当，会产生存在偏倚的、甚至不正确的结论，误导临床决策。因此，了解评价系统评价和meta分析质量的方法，有利于更好地使用系统评价研究的信息而不致盲从。
【关键词】 系统评价; meta分析; 质量评价, 卫生保健
基金项目: 国家十五科技攻关项目（No. 2004BA716B01）; 国家基金项目（No. 30600834）
Zhang JH, Shang HC, Zhang BL. J Chin Integr Med/Zhong Xi Yi Jie He Xue Bao. 2008; 6(4): 337?340.
Received January 06, 2008; published online April 15, 2008.
Free full text (PDF) is available at .
Indexed/abstracted in and full text link?out at PubMed.
Forward linking and reference linking via CrossRef.
DOI: 10.3736/jcim20080402Open Access
How to assess the quality of systematic review and meta?analysis
Jun?hua ZHANG, Hong?cai SHANG, Bo?li ZHANG
1. Evidence?Based Medicine Center, Tianjin University of Traditional Chinese Medicine, Tianjin 300193, China
2. Research Center of Traditional Chinese Medicine, Tianjin University of Traditional Chinese Medicine, Tianjin 300193, China
Abstract: Evidence?based medicine advocates that decision making should be based on the adequate evidence. High quality systematic review is an important source of information for clinicians, patients, governments and other decision makers in decision making. If reviewers couldn't master the correct method of systematic review or meta?analysis was misused, the inaccurate, biased or misleading outcomes would be produced. So understanding of the methods of evaluating the quality of systematic review and meta?analysis is helpful to make good use of the review's information.
Keywords: systematic review; meta analysis; quality assessment, health care
系统评价（systematic review）是一种按照严格的纳入标准，广泛收集关于某一医疗卫生问题的所有研究，对纳入研究进行全面的质量评价，并进行定性分析，研究间具有足够同质性时进行定量数据合并，以对该问题进行系统的研究方法。Meta分析是一种对多个独立研究数据定量合成的统计学方法之一，如果一个系统评价中使用meta分析的方法，此系统评价可称为“meta分析”，也称“定量系统评价”［1］。
系统评价是高质量证据的来源，能为临床医生、患者及其他决策者提供重要信息［2，3］。然而系统评价作为研究的一种方法，使用不当将影响研究结果的价值，所以系统评价研究的质量也需要评价，而不是盲目接受。系统评价研究的质量可从方法学质量和报告质量两个方面进行评价。
1 方法学质量评价及工具
偏倚是影响系统评价质量的主要因素，评价系统评价研究的真实性，主要是考察研究的方法学质量，即系统评价的实施过程如何对偏倚进行控制［4］。系统评价的制作过程主要包括7个方面：提出问题，制定纳入和排除标准，收集与筛选资料，评价纳入研究的质量，处理数据和形成结论，对结论进行解释及系统评价的改进和更新。每个环节处理不好均会影响研究的质量。
确定一个合理的主题是任何研究顺利开展的保证，如果系统评价的选题缺乏针对性，将给后面的工作带来困难，特别是影响资料的收集和数据分析，最终影响整个研究的质量。
根据研究的主题，再制订系统评价研究的纳入和排除标准（包括研究的类型、受试对象的特征、干预措施和结局指标等），如果纳入标准制定不合理，将导致资料收集的偏差。
资料收集是系统评价中非常重要且较为困难的步骤，“全面”是资料收集的基本原则（包括不同语言，已发表和未发表的研究等），如果收集不全面，带来选择性偏倚，就会影响研究结果。同时资料筛选过程也要注意对选择性偏倚的控制，故至少需要两名评价员独立进行，再核实一致性。
数据处理包括对数据的提取和分析等内容。数据提取是为数据分析做准备，如果不能很好地进行，将影响数据分析的结果。系统评价常采用meta分析对数据进行定量的合并，合并的条件是研究的同质性（包括临床同质性、方法学同质性和统计学同质性），如果纳入的研究存在异质性，需要分析产生异质性的原因，而不是武断合并。
系统评价属二次研究，受原始研究质量的影响，如果纳入的原始研究质量较差，将影响结果的价值，故需要对纳入研究进行质量评价，以考察其结果的可靠性。研究结论要结合数据分析的结果、研究中存在的问题和纳入研究的质量客观地列述，如果不考虑纳入研究的情况和潜在的问题，可能得出不正确的结论。
OQAQ（Oxman?Guyatt Overview Quality Assessment Questionnaire）量表是用于评价系统评价真实性的最常用工具。OQAQ共有9个方面10个条目，前9个条目可以评为充分（报告并正确使用）和不充分（没有报告或不正确），最后一个条目是对整个文献质量进行打分，评价者根据前面9个问题的情况给1～7分［4，5］。OQAQ量表不涉及发表质量和研究的重要性，主要针对系统评价中容易产生偏倚的几个关键环节（是否进行了全面的文献检索；如何减少在文献选择、数据提取和质量评价过程中偏倚的产生；对原始研究的质量评价是否采取恰当的评价工具和方法；研究数据合并是否恰当；研究结论是否客观）。见表1。表1 OQAQ量表内容（略）
SQAC（Sack's Quality Assessment Checklist）量表也常被用来评价系统评价研究的质量［6?8］。SQAC包括6个方面，23个条目，对一些细节，如方案设计和数据分析等方面都进行考察。SQAC清单中不仅包括了方法学质量的评价，还包括了一些适用性的评价内容，不易把握，使用耗时较长。如SQAC量表第1部分多涉及研究报告的内容；第3部分第4条提到资助情况，有许多专家认为药厂赞助的研究质量较差，可信度低，争论也较多［9，10］；第6部分第2条，属于学评价的内容，性研究的系统评价中不一定会涉及。见表2。表2 SQAC清单内容（略）
系统评价的结论将是临床决策的重要依据，研究结果能否运用到某一个具体的问题，是决策者需要关注的重要方面。如在防治性研究的系统评价中，应该明确表述研究针对的是什么临床问题，纳入的是什么样的患者（年龄、性别、病情及诊断等），干预措施是什么（试验组和对照组的具体干预方法）以及观察指标是什么等信息；同时提供被纳入和排除文献的资料，下结论时结合研究中存在的问题，这样才能使证据使用者全面了解系统评价研究的问题与需要解决的问题间的相似性，决定评价结果能否用来解决具体问题。
报告质量和方法学质量存在一定的联系，但也有差别。报告好的研究不一定方法学正确，报告不好的研究也可能具有较好的真实性，但是低下的报告质量将影响结果的实用性［11］。报告质量高，研究的重复性就越好，其论证强度越高，结果也越可靠。
报告质量评价关注的是研究者对研究方法、过程和研究结果等内容的报告情况。QUOROM（Quality of Reporting of Meta?analysis）是系统评价和meta分析的报告规范，也常被用来评价系统评价的报告质量。此规范包括系统评价的标题、摘要、前言、材料与方法、结果、讨论与结论等6个方面，共有18个条目，具体内容参照文献报道［12］。
2 讨 论
理想情况下，系统评价和meta分析的结果是决策的最高级证据。如果系统评价研究过程中偏倚没有得到很好的控制，尤其是meta分析使用不当，则会夸大偏倚，得出不正确的结论，甚至误导决策，所以对其质量评价显得也很必要。除了以上评价工具涉及的内容外，还应该注意以下几个问题。
2.1 系统评价质量与原始研究质量的关系
系统评价是基于的二次研究，但系统评价的质量与原始研究质量没有直接关系，系统评价的重要作用在于向读者提供全面和客观的信息，其质量的高低取决于研究过程中对偏倚的控制和报告。如果系统评价能按照规范制作，且评价了纳入的原始研究存在的问题，并在讨论和结论中能结合具体问题，客观报告研究结果，那么系统评价属于高质量，只是证据强度较低。
2.2 研究结果的重要性
将系统评价的结果应用到临床决策中，除了考虑方法学质量和报告质量外，还要考虑结果的临床重要性，包括系统评价纳入的是否为高质量的研究、结局指标是什么、结果是否精确以及合并效应量等内容。
若系统评价纳入的是高质量的研究，且数量充足，各研究结果同质性较好，那结果精确度就越好，证据的强度也较高。系统评价的合并效应量常为相对危险度（relative risk, RR）、比值比（odds ratio, OR）、危险差（risk difference, RD）、加权均数差（weighted mean difference, WMD）、需要的病例数（number needed to treat, NNT）和产生较差结局的病例数（number needed to harm, NNH）等。比较而言，NNT和NNH就更具临床意义。NNT是指对受试者采用某种防治措施，较对照组多得到1例有利结果需要防治的病例数，NNT越小，防治效果就越好；NNH指对受试者采用某种防治措施，比对照组多发生1例不良反应需要处理的病例数，NNH越小，安全性越差。系统评价研究的结局指标同样影响分析结果的应用价值，如研究分析的是一些关联性较差的中间指标，那么研究结果对临床的指导意义就会受限，如果结局指标为重大事件的发生率（病死率、严重不良反应发生率等），即使合并效应量差异无统计学意义，也可能具有重要的临床意义。
2.3 不同专业的影响
由于研究问题的不同和专业的差异，进行质量评价时考虑的内容也有所侧重。如评价某种中药的临床疗效，应该考虑中医药自身的特点，如辨证论治，否则可能影响研究结果的应用价值。
3 小 结
系统评价研究者应具备一定的临床流行病学知识、临床专业知识、循证医学知识以及外语、文献检索、机应用能力等。细节决定质量，为保证系统评价的质量，对评价员进行培训是必要的，特别是在方法学方面。
总之，系统评价是文献研究的方法之一，系统评价研究只有按照一定的规范进行，才能获得更多有价值的信息，更好地为卫生决策服务，并使卫生决策更加化。
【文献】
1 Sackett DL, Straus SE, Richardson WS, et al. Evidence?based medicine: how to practice and teach EBM. 2nd ed. London: Churchill?Livingstone. 2000: 1?50.
2 Jadad AR, Cook DJ, Jones A, et al. Methodology and reports of systematic reviews and meta?analyses: a comparison of Cochrane reviews with articles published in paper?based journals. JAMA. 1998; 280(3): 278?280.
3 Sunny Downstate Medical Center. Guide to research methods—the evidence pyramid. http://library.downstate.edu/EBM2/2100.htm.
4 Oxman AD. Checklists for review articles. BMJ. 1994; 309(6955): 648?651.
5 Senn S. The quality of systematic reviews. Review is biased. BMJ. 2000; 321(7256): 297.
6 Sacks H, Berrier J, Reitman D, et al. Meta?analyses of randomized controlled trials. N Engl J Med. 1987; 316(8): 450?455.
7 Sacks HS, Reitman D, Pagano D, et al. Meta?analysis: an update. Mt Sinai J Med. 1996; 63(3?4): 216?224.
8 Sun FH, Wei SY, Xu ZM, et al. Quality evaluation of meta?analysis for randomized controlled trials. Yao Wu Liu Xing Bing Xue Za Zhi. 2002; 11(1): 31?36. Chinese with abstract in English.
孙福红, 魏水易, 许自明, 等. 随机对照试验Meta分析的质量评价. 药物流行病学杂志. 2002; 11(1): 31?36.
9 Jadad AR, Moher M, Browman GP, et al. Systematic reviews and meta?analyses on treatment of asthma: critical evaluation. BMJ. 2000; 320(7234): 537?540.
10 Altman DG, Decks JJ, Clarke M, et al. The quality of systematic reviews. High quality reporting of both randomised trials and systematic reviews should be priority. BMJ. 2000; 321(7256): 297.
11 Moher D, Jadad AR, Nichol G, et al. Assessing the quality of randomized controlled trials: an annotated bibliography of scales and checklists. Control Clin Trials. 1995; 16(1): 62?73.
12 Moher D, Cook DJ, Eastwood S, et al. Improving the quality of reports of meta?analyses of randomised controlled trials: the QUOROM statement. Quality of Reporting of Meta?analyses. Lancet. 1999; 354(9193): 1896?1900.
