网络环境下数字资源评价指标的获取

来源:岁月联盟 作者:张小兵 时间:2010-07-05
  【摘 要】文章对数字资源评价指标分为了定量指标、定性指标和半定性指标三类。并分析了影响评价指标值获取的因素,在此基础上,论述评估指标值可能的获取方法。
  【关键词】数字资源 评价指标 获取
  
  随着机技术的深入,馆藏数字资源急剧增加,给图书馆的发展提供了新机
  遇,图书馆可以利用这部分数字资源为用户提供更加方便、快捷、准确的信息服务。同时,图书馆也面临着新的挑战,如何选择数字资源,如何建设和评价数字资源等问题,正在困扰着许多图书馆或馆员。但从相关的看,对网络信息资源评价研究的多,对数字资源研究的少。从内容看对评价指标体系与评价方法研究的多,而实际评价应用研究的少。从评价指标体系看,定性分析指标多,定量评价指标少。因而为了提高对数字资源评价的应用研究,我们将重点探讨评价指标的可获得性问题。
  1.数字资源评价指标的分类
  国外对数字资源评价的相关研究开始的较早,建立起的评价指标体系也较多。这些项目的评价指标多与资源的使用和服务绩效有关,而且定量指标较多。
  从有关的评价指标体系看,对数字资源的评价涉及的评价指标较多。从具体的指标看,有些量的特征很明显,有些质的特征很突出,有些质和量的特征都不很显著。鉴于此,我们把数字资源评价指标分成三类:
  (1)定量指标——量的特征很明显,便于计算和度量。如数据库的购买成本,利用率(单位时间内的访问量),记录或全文下载成本等。
  (2)定性指标——质的特征很突出,适合进行定性评论。如数字资源的收录范围,检索界面的友好程度等。
  (3)半定量指标——质和量的特征均不显著,评价时可以利用文字资料解释说明定量指标;同时,也可以利用已有的统计数据为定性说明提供证据。如用户满意度、数字资源内容的权威性,时效性等。
  2.数字资源评价指标获取的方法
  2.1数字资源评价指标获取的影响因素
  无论是对网络数字资源还是数字资源,当评价指标体系建立了,评价模型确定以后,那么评价结果的好坏将取决于评价指标获取的质量。也就是说,能否及时准确地得到评价所需的各个指标值是关键。实际评价过程中,这些指标值的获取经常会受多种因素的影响:
  (1)被评价数字资源的质量。如在网页评价中,网页的作者是重要的评价指标。在网上,网页标明作者的并不多,只有20%-31%的网页标明了作者。超过2/3的网页不能找到作者,因此难以利用作者资历来判断网页的质量。
  (2)数据采集或获取的方法。例如对于有些半定量化指标的获取可以采取多种方法,采取的方法不同,其结果也不尽相同。
  (3)数据资源系统的功能。有些外文数据库系统提供了较完善的统计功能,可以较全面、详细地获得有关用户利用数据库的情况。而有些中文数据库就不具备这样的功能,要想获取有关数据是比较困难的。
  (4)时间。社会信息具有时效性,相对于使用者来说,其价值会随时间推移而减小,甚至趋近于0,这种信息价值随时间而减小的现象称之为信息价值的衰减。这样在评价信息的效用时,不同时段评价,其结果就会有较大的差别。
  (5)其他因素。如数字资源的存储与服务环境,数字资源使用的对象等。
  2.2定量指标的获取方法
  与传统馆藏相比,数字资源的使用和服务必须依托计算机和网络,这也使得数字资源在使用和服务的过程中获取量的指标更方便和快捷。通常情况下定量指标的获取方法有以下几种:
  (1)通过服务器获取。在数字资源服务过程中,可通过本地服务器和数据库商得到数字资源使用和服务状况原始的统计数值,进而得出诸如图书馆数字资源使用和服务中,用户接受程度、服务的使用、用户培训、人力资源、成本等评价指标等。
  (2)从有关的资料获取。有些定量指标可以从有关资料直接获取:如从事电子服务的人员比例、某个数据库的购买价格(据此可算出从某个数据库下载一篇文献或一条记录的成本)、参加读者培训的人数及时间等。
  (3)引文分析法仍然是电子期刊评价指标的重要获取方法。引文分析作为对科技期刊进行定量研究和评价的重要方法,一直深受广大图书情报工作者、科研人员及科技管理者重视。目前影响最大、具有引文索引、引文分析和期刊评价功能的出版物是美国科技信息研究所(Institute for Scientific Information,简称ISI)出版的《引文索引》(Scientific Citation Index,简称SCI)和《期刊引文报告》(Journal Citation Index,简称JCR)。
  目前,电子期刊多半是传统期刊的电子版,只有很少一部分是纯电子期刊。作为期刊评价的重要工具,JCR同样适用于电子期刊的评价。JCR的引文数据源于7000多种期刊,涉及到国际上3000多家出版社和200多个学科。每年的年度数据库都包含上一年的出版数据。对每一份被收录期刊,JCR Web均提供以下的统计数据:引文和数量、影响因子、立即指数、被引半衰期、引用半衰期、源数据列表、引用期刊列表、被引用期刊列表、主题分类、出版社信息、期刊标题变化。
  通过网络方便快捷地获取这些分析数据为电子期刊评价指标的获取提供了很大方便。其中的影响因子和立即指数较为重要,影响因子是评价和比较一种期刊相对于同类其它期刊影响力和重要性的指数。立即指数是评价期刊中的论文被引用的速度,或者在同一年内期刊中的论文被引用的频率,有利于比较新兴学科或尖端学科的期刊,即最热门学科。所以我们在评价一个电子期刊全文数据库时往往会看这个库中有多少期刊被SCI收录,其中被收录的期刊的影响因子分别是多少。比如《Cell》2003年的影响因子为26.626,立即指数为6.502。通过引文分析,利用JCR Web可以很方便地获取电子期刊的评价指标,确定电子期刊的质量。   2.3定性指标的获取方法
  定性指标的获取不如定量指标方便快捷,而且不同的获取方法,其结果也会存在一定的差异。但对于一些事物的评价或评估,由于受环境等多种因素的影响,若缺乏定性指标,其结果往往与事实不太相符,数字资源的服务绩效评估就属于此。通常,定性指标的获取可以通过以下两种方法取得:
  (1)借助传统的评价方法来获取。在图书情报领域,有着长期从事文献选择和评价的传统,早已形成了评价印刷型文献的方法和体系,其中很多都是基于定性的评价。数字资源中的一些数字资源是印刷型文献的版(版),虽然网络赋予其很多新的特性,但这只是载体形式的变化引起的,信息内容并没有太大的区别,对其内容的评价尽管不能照搬传统的评价标准,但在某些方面可以借鉴。比如元智大学图书馆关于数字资源内容的一个重要评价指标:符合学科范围为原则、各学科均衡为原则。这和沈继武先生的传统藏书结构评价中的学科结构评价理论有非常大的相关性。类似的还有数字资源的语种结构评价指标等。
  (2)依靠工作人员的知识、经验来获取。对电子资源内容评价的同时,也不能忽视其检索系统和功能的评价,检索系统的好坏直接影响资源的使用效果。有时,同一资源会有不同的检索系统(如英国INSPEC数据库)或某一学科内容的资源有多家数据库提供商,这种对单个或某类数字资源的检索系统及功能的评价指标的获取可数据库检索系统的评价指标获取方法。
  检索系统和功能的评价指标包括检索功能、检索技术、用户帮助、信息来源等多个方面,这些指标多是非定量的,这些指标的获取需要获取人员有相当的学科背景、数据库知识和使用经验,并经过多次试用、反复使用检索系统才能得到。
  2.4半定量指标的获取方法
  所谓半定量指标,就是其质和量的特征均不显著,这些指标的获取不能简单的通过定性或定量直接获取,需要经过调查问卷、统计、分析才能得到一个相对的处理后的量值。这里以数字资源服务中用户满意度指标的获取为例进行说明。可以借鉴ARL的LibQUAL+的图书馆服务质量评价模式来获取数字资源服务用户满意度的评价指标。LibQUAL+是以用户感知为基础的图书馆服务质量评价模式。
 
  首先需要设计调查问卷,问卷应包括数字资源服务中可以通过此方法获取的指标的具体内容,问卷应包括一般数字资源服务的满意度、特定数字资源服务的满意度、数字资源用户培训的满意度、以及对用户帮助服务、图书馆机工作站和其他相关设备提供情况的满意度等。调查问卷可采用三种方式:在图书馆现场填表、网上发布调查表、专家征询填表。对每一项内容的评分不能简单的设为优、较好、一般、差,应该进行详细分级记分,这样体现出了一个量变和质变的过程,问卷收集后进行统计、分析和数据处理,进而得出可以比较的指标相对量值。
  对每项数字资源服务的平均用户满意度可用公式表示:S=A/B
  S:对每项数字资源服务的平均用户满意度。
  A:用户给出的每项数字资源服务期望值的总合。
  B:参与该项数字资源服务调查的总人数。
  在这里用户期望是一个非常重要的因素,用户的选择非常主观。如果用户对某一项服务的期望很低,就很容易表现出较高的满意度,然而如果一个用户对某项服务有很高的期望,那么就会很容易表现出不满意。所以,在处理和分析数据时应该考虑这些。
  总之,随着图书馆数字化进程的加快和数字图书馆的,馆藏中数字资源的比例越来越大,为了保证数字资源与传统馆藏配置更加合理,充分发挥其资源效益,最大限度地满足用户需要,对数字资源的评价研究是非常必要的。从目前看,还有很多工作要做。我们在分析国外几个相关评价项目的基础上,将评价指标分为定量、定性和半定量指标三大类,并就每类指标的获取方法进行了探讨。我们认为有关数字资源服务绩效、使用及数字资源保藏功能方面的评价指标多采用定量的方法获取;有关数字资源内容、结构等的评价指标主要通过定性的方法获取;而关于数字资源用户满意度和存取能力方面的评价指标主要运用半定量的方法获取。但这需要进一步的应用评价来检验。