方式摘要:质量是科学研究的内正正在性。科学研究质量既有包括成就选择、研究方法、理论运用、结论鲜活性、推理历程、书写表达等内正正在要求,也有可以用被引次数等定量指标测量的外正正在表现。高校科研评价的定量指标存正正在质量属性。定量指标正正在使用中恰恰离质量属性的原因包括评价实践中准许用定量指标的部门标准接替质量标准的规则导向、定量指标关于科学家科研行踪的、容易定量评价的关于没有易定量评价的“挤出效应”和指标自身缺欠等。加强高校科研评价定量方法与质量导向的兼容性,需要执行以定量评价指标为参考的代表作同行评价制度;适当减少定量评价使用范围;执行定量指标质量标准关于部门标准的单向接替;加强个性化数据院子构建,退步定量评价指标基础数据质量。
作者简介:朱军文,上海交通大学高等文明研究院副研究员,博士生导师;刘念才,上海交通大学高等文明研究院院长、教授,博士生导师,上海200240
方式提要:质量是科学研究的内正正在性。科学研究质量既有包括成就选择、研究方法、理论运用、结论鲜活性、推理历程、书写表达等内正正在要求,也有可以用被引次数等定量指标测量的外正正在表现。高校科研评价的定量指标存正正在质量属性。定量指标正正在使用中恰恰离质量属性的原因包括评价实践中准许用定量指标的部门标准接替质量标准的规则导向、定量指标关于科学家科研行踪的、容易定量评价的关于没有易定量评价的“挤出效应”和指标自身缺欠等。加强高校科研评价定量方法与质量导向的兼容性,需要执行以定量评价指标为参考的代表作同行评价制度;适当减少定量评价使用范围;执行定量指标质量标准关于部门标准的单向接替;加强个性化数据院子构建,退步定量评价指标基础数据质量。
关 键 词:高校 科研评价 质量导向 定量指标
从部门扩张向质量提升改观是外国高校高高科技创新面临的阶段任务,也是加快内涵发展的题中之意。科研评价作为科研管理伎俩之一,正正在促进高校创新转型中存正正在次要导向作用。但是,外国的科研评价现状尚没有令人中意。一范畴,同行外行评价中的“黑幕”没有断被揭开,引发关于学术的声讨;另一范畴,定量评价方法被为科研泡沫的。[1]以科学自主性和科学自治理想为凭据的同行评议,变迁科研评价的主要方法存正正在做作合。[2]但是定量评价方是否还存正正在存正在必要性的质疑。这种质疑主要基于关于定量评价以部门为导向正视质量的认识。长远高校科研评价中宽泛运用的定量方法是否存正正在质量属性,恰恰离质量导向的原因正正在哪里,定量方法与质量导向之间如何兼容是科研评价无法躲避的现实成就。
一、科学研究“质量”:内涵与外正正在表现
“质量”是各类管理活动的主题。正正在古希腊哲学家苏格拉底、柏拉图和亚里士多德眼里,质量被理解为卓越(excellence)。18百产中期,随着产品经济的发展,质量被界定为价钱(value)。19世纪到20世纪20时期,正正在大范畴轻轻工业消耗蓬勃发展背景下,质量被定义为产品符合规格(conformance to specifications)。20世纪30时期,质量被加入统计学意义上技艺标准稳定性的内涵。20世纪80时期,随着服务业正正在产业结构中占据主导地位,质量标准末尾被理解为中意或者许跨越客户的期望(meeting and/or exceeding customers expectations)。[3]对于于科学研究这一破旧的创新活动,“质量”更是其本质性所正正在。对于于科学研究质量,学术共同体和共同省外部的科学计量学外行,从如出一辙的视角中止过界定。
正正在科学发展史上,科学家既是科研使命的主体,也没有断是科研评价的主体。因此对于于科研质量,科学家最有发言权。学者赫姆林(Hemlin, S. )曾就科研质量关于224位没有同领域科学家中止了问卷调查,前因显示科学家关于此有广泛共识。科学家们认为,科研质量是关于研究成就、研究方法、理论运用、前因、推理历程(逻辑)与书写表达等六个范畴鲜活性、严谨性、精确性、深度、广度、与迷信内部和外部联络等属性的衡量。[4]当然,因迷信特点与表达形式差异,自然科学、工程技艺、医学、人文、社会等没有同领域科学家关于上述六个范畴正正在身手域科研质量评价中次要性的排序略有差异。有学者认为,关于质量的评价蕴含了科研使命者的群体价钱判断,应将其放正正在定然的场域中去理解。关于入职五年以内、主要是被评价关于象的年轻科研人员,他们关于科研质量的理解恰恰重研究成就的价钱、关于成就的是否可以获得认同、言论宣告期刊的反响力等,并希望这些有助于职业晋升;对于于资深科学家,作为同行经常加入各类科研评价,他们关于科研质量的理解根植于所正正在迷信特点,看重研究者的能力、扎实的理论、沉思的框架以及蕴含的思想,关于科研使命的界定也更加宽泛。[5]科学家关于质量概念的共识及差异,凸显了科学研究存正正在创新性和没有确定性,应由学术共同体关于重大科学发现优先权中止识别的传统,也可以看出作为学术同行正正在科研质量评价中没有可预防的主观性以及由此衍生的一系列弊端。
科学计量学是运用数学和统计学方法关于科学活动的产出(如言论部门、被引部门)和历程(如信息、交流网络的形成)中止定量分析,从中找出科学活动规律的一门迷信。科学计量指标系统地运用于科研评价始于20世纪50时期普赖斯(Price, J. )和加菲尔德(Garfield, E. )的首创性使命。与研究领域内部的同行外行没有同,科学计量学外行关于科研质量的界定没有是基于研究历程和研究方式,而是站正正在学术共同省外部关于迷怀疑务中止审视。科学引文索引(Science Citation Index, SCI)创办人加菲尔德认为,质量正正在性质上是难以捉摸的,人们正正在没有同声间用没有同名称来描述它,譬如“次要性”(significance),“反响”(impact),“效用”(utility),“效力”(effectiveness)等。[6]莫伊(Moed, H. )认为,质量是研究使命的内正正在品质,是一个客观存正在,但它并没有是一个存正正在物质的客观实正在物体。其客观存正在可以从历史发展的角度来说明,即时间将证明某一研究使命的学术价钱和持久性。他认为引用其他科研人员的文献是学术共同体之间的一种社会行踪。经常被引用(高引用率)的研究显然会比很少被引用的研究更为有用。由于,一篇言论被引次数可以被认为是它的“反响”、“次要性”,或者许许说“质量”的精确测量。[7]从上述观点看,科学计量学的质量概念与学术共同体的同行共识是一致的。正正在共同体内,一篇言论被引次数被诠释为反响力(influence)或者许答应见度(visibility)已经到达广泛共识。[8]由于被引次数需要正正在宣告若干年后威力获得,因此评价实践中,言论宣告期刊的反响因子往往变迁代替被引次数的即时指标。正正在每一个专业,最好的期刊都是那些言论很难被其采用的期刊,也是高反响因子期刊,这些期刊正正在反响因子被创举事前已经存正在。期刊反响因子运用于测量言论质量,正是因为它与观念中认同的迷信最好期刊非常相符。[9]
综上可见,学术共同体关于科研质量的界定恰恰重从成就提出到前因涌现及运用的全历程,并以科学家群体的专业作为判断依据。科学计量学关于科研质量的界定通过比较定然与其他获得同行引用部门差异来关于质量中止间接判断。它以科学家正正在学术共同省里部的社会行踪一致性为基础,跨越了单个科学家的主观判断的局限性。二者均是以学术共同体的行踪为判断基础,但一个立足学术共同省里部,一个立足学术共同省外部,一个恰恰重科学家群体主观的阅历判断,一个恰恰重科学家群体行踪的客观统计描述,一个是关于科研质量中止直接判断,一个是关于科研质量的间接判断,形成了优质的互补联络。由此可以得出,质量是学术共同体里外部外行一致的科学研究的内正正在性。科学研究质量既有包括成就选择、研究方法、理论运用、结论鲜活性、推理历程、书写表达等内正正在的创新性与规范性要求,也有可以用被学术共同省里部同行引用次数多少等定量指标测量的外正正在反响力表现形式。内正正在的创新性与规范性要求与外正正在的反响力表现形式是两个相互补充、各有优势的衡量科学研究质量的方法零碎。同行评价方法正正在科学研究内正正在质量判断上存正正在做作的合,定量评价方法通过科学研究外正正在反响力表现差异关于其质量中止客观测量,也存正正在质量属性。
二、高校科研评价定量方法中的质量属性
正正在科学计量学出现事前,同行外行评价是判断科研质量的通用方法。但同行外行评价系统的差错来源于被取舍出来承现在审的外行组,并且运转低效、代价昂贵。科学计量学基于关于科研质量的单独界定,开拓出了一系列简便可行的定量指标,迅速发展变迁同行评价之外另一次要评价方式。
定量方法中使用至少的指标是基于一定时间窗口的出版物部门及其被引次数。正正在此基础上衍生出了整个定量评价指标零碎,也开拓出了一些新的经典指标。乌必科(Verbeek, A. )[10]、欧库布(Okuto, Y. )[11]和莫伊(Moed, H.)[12]等人区分从研究综述、经济合作与发展组织(OECD)科研评价运用和科学计量哲理论议论等角度关于定量指标零碎中止过系统理发,关于没有同指标的性质及其缺欠中止过谈论。美国大学圣迭戈分校道理学教授赫希(Hirsch, J. )基于言论部门与被引次数联络提出用于评价科学家群体科研产出的h指数,[13]拓展了平衡产出部门与质量联络的新视角。
从外国高校科研评价实践看,长远广泛使用的定量指标主要有某一文献检索来源的言论部门、著作部门、授权专利部门、被引次数、言论宣告期刊的反响因子或者许期刊正正在本迷信所有期刊中的排序、科研获数、没有同来源基金项目数等。它们没有只正正在外国广泛使用,正正在英国、意大利、等国家的科研评价实践中也被经常使用。根据指标类型,上述指标可以分红部门、反响力和科研能力与条件三类,区分存正正在没有同程度的质量属性。(见表1)
言论部门是关于评价关于象科研使命原始、简化的测量,表现的是科研产量,但是它也存正正在质量属性。这一范畴是因为学术期刊宽泛执行同行外行审稿制度,正正在决定录用一篇言论事前,其质量已得到同行外行的基本确定;另一范畴,正正在高校科研评价实践中宽泛采用将某一检索系统收录的言论作为评价指标的做法,譬如科学引文索引和中文社会科学引文索引(Chinese Social Sciences Citation Index, CSSCI)源期刊刊登的言论。相关引文索引数据库正正在遴选期刊时均依据其出版标准、规范性、被引用情况以及外行意见或者许国际多样性等指标。中选期刊总数占所正正在迷信期刊总数比照较小,中选期刊办刊质量正正在各迷信总体靠前。以这类引文索引收录的源期刊言论为指标,正正在测量产出部门的同时,显然包含了定然的质量属性。著作和授权专利等部门指标,也存正正在类似的质量属性。
被引次数、期刊反响因子及由此决定的期刊正正在所处领域所有期刊中的位次,是用来测量被引的反响或者许质量的主要指标,也是科学计量迷信界文质量的主要角度。但是某些领域的言论匀称引用次数非常高,有些领域即使是质量上乘量的言论,被引用的绝对于于次数也没有高。期刊反响因子也一样,某些迷信的期刊反响因子整体恰恰高,有些迷信期刊反响因子整体都较低。因此,正正在没有同学科领域比较言论的被引次数或者许刊文期刊的反响因子是没有适宜的。引用频次或者许期刊反响因子需要根据所属迷信(包括属于多个迷信的期刊及言论)中止精确的标准化。正正在被引次数指标中,总被引次数、匀称被引次数、清扫自引的匀称被引次数等关于数据的准确性要求没有同,其体现的质量或者许反响力的准确性也没有同。获是反响力的另一种体现,它由同行外行关于其次要性或者许质量中止确认。基金项目是科研能力或者许支撑条件指标,虽正正在评价中被频繁使用,但其并没有是本身,而是同行外行关于要求人创新能力和可行性的确认,是关于未来创新使命质量的一个预期。
从上述分析可以看出,科学计量学基于学术共同体社会行踪一致性分析获得的定量评价指标本身存正正在质量属性,这也是其得以被广泛运用的次要原因。但正正在评价实践中,定量方法却往往被认为是导致外国高校科研发作重部门、轻质量现象的主要原因,是加剧学术虚浮和学术没有端行踪的。也就是说,定量方法没有只恰恰离了其自身所存正正在的质量属性,况且催生了高校的科研泡沫。