一、引言
2015年4月，教育部《关于加强高等学校在线开放课程建设应用与管理的意见》提出，鼓励高校制订在线开放课程教学质量认定标准，将通过本校认定的在线课程纳入培养方案和教学计划[1]。2018年9月，教育部《关于加快建设高水平本科教育全面提高人才培养能力的意见》再次强调，要制定慕课标准体系，规范慕课建设管理，规划建设一批高质量慕课[2]。在国家大力推进在线课程建设、课程数量快速增长的同时，学习者对在线课程质量的要求也越来越高。在此背景下，作为在线课程质量保障措施和高校在线课程引入必要环节的在线课程质量认定备受关注，学术界对此开展了多角度的研究和实践，积累了一定数量的研究成果，但已有的成果中梳理总结性文献并不多见。基于此，本文开展了对在线课程质量认定相关研究成果的梳理和分析，以期为在线开放课程质量标准的制定提供参考。
二、在线课程质量及认定相关概念
（一）在线课程质量课程质量是课程价值的体现。
有研究者认为：课程质量应包括静态的课程质量和动态的课程质量，前者是指课程计划、课程标准和课程内容的质量，后者主要指课程设置、课程实施、课程评价的质量[3]。此外，全面质量管理理论认为，对产品质量的衡量不应仅局限于产品的静态特征本身，还应从质量形成的全过程予以整体考虑，产品质量的产生和形成过程包括设计过程、制作过程、使用过程、辅助过程等多个阶段[4]。因此，若从全面质量管理理论的视角来审视，作为特殊产品的在线课程，其质量应包括其特征属性所反映的静态课程质量和教学效果所反映的课程实施质量两个层面。
（二）在线课程质量认定
我国在线课程已经走过了近20年的发展历程。在在线课程的发展过程中，关于其质量评判的用词并不统一，总体来看，使用“认证”“评价”“认定”等词较多。“认证”一般由政府机构或者其授权的评定机构来实施，认证的结果往往通过颁发认证证书来体现。“评价”即对价值的高低进行判定，由于在线课程质量的评价主体具有多元化的特点，因而课程的各利益相关者都可以从各自的视角出发对课程质量的高低给予评判。“认定”则是确定地认为；明确承认[5]。在线课程质量认定可以理解为通过相关的评判，对在线课程的质量给予明确承认。对在线课程质量的认定可以由教育主管部门或者学校来组织开展，其主要目的是通过对课程质量的判定以实现课程的遴选，并为所遴选出的课程赋予明确的身份，如2018年教育部认定了801门在线课程为国家精品在线开放课程[6]。
根据以上分析，我们认为“认证”“评价”“认定”等词虽然在实施主体上有所不同，但就在线课程质量评判而言，都需要以相应的标准或规范作为依据，都是以在线课程作为评判对象，都以课程质量的判定为其主要目标。因此，本研究中将使用目前应用较为广泛的“认定”一词，研究文献则包括了课程质量“认证”和“评价”的文献。
三、研究方法与过程
本文采用文献研究法。研究过程如下：（1）获取研究文献。文献来源主要包括两个方面：一是教育部官方网站发布的内容，通过检索共收集到在线课程建设、认定等方面的政策文本31项；二是中国知网（CNKI）期刊全文数据库。为保证文献质量，选择文献来源类别为中文核心期刊及CSSCI期刊，设置检索主题=（“网络课程”or“精品课程”or“精品开放课程”or“视频公开课”or“资源共享课”or“在线开放课程”or“慕课”or“MOOC”or“MOOCs”）and（“质量”）and（“认证”or“评价”or“认定”），共检索到136篇文献资料，剔除广告、研讨会、通知等，最终得到有效文献132篇。（2）归纳研究主题。通过对文献的精读、分析，归纳得到本研究的切入点包括在线课程质量认定政策、在线课程质量认定标准、在线课程质量认定研究方法三个方面。（3）精读分析文献。在对文献梳理的基础上，精选45篇研究文献进行重点分析、归纳梳理。
四、在线课程质量认定研究述评
（一）课程建设及认定政策分析1999年1月，国务院转批教育部《面向21世纪教育振兴行动计划》，提出要依托现代远程教育网络开设高质量的网络课程[7]，以实现跨越时空的教育资源共享，拉开了我国在线课程建设的序幕。2000年5月，教育部高等教育司实施的“新世纪网络课程建设工程”被认为是我国在线课程规模化建设的起点[8]。通过对国家在线教育政策文献的分析可以看出，在近20年的发展历程中，我国在线课程经历了网络课程、精品课程（包括国家精品开放课程）、在线开放课程等多个发展阶段（如图1所示）。在每一个发展阶段，在线课程的质量认定都是课程建设工作的重要组成部分，有效保障了课程建设项目的顺利实施。在网络课程建设阶段，明确要求项目验收前必须进行网络课程的质量认证，并成立专家小组专门负责课程质量的认证工作，制定了《新世纪网络课程建设工程质量认证标准》等规范和标准，为网络课程的验收提供参考依据[9]。在精品课程建设阶段，将精品课程定位为具有一流教师队伍、一流教学内容、一流教学方法、一流教材、一流教学管理等特点的示范性课程，出台了具体的认定标准并不断修改完善。对国家精品开放课程的认定更是强调要建立课程内容审查制度，通过发挥专家作用来保证课程质量[10]。2012年以来兴起的MOOC对我国在线教育产生了更加深刻的影响。2015年4月，教育部出台《关于加强高等学校在线开放课程建设应用与管理的意见》，提出建设一批以大规模在线开放课程为代表的优质在线开放课程等七个方面的重点任务，明确要求需综合考察课程的教学内容与资源、教学设计与方法、教学活动与评价、教学效果与影响、团队支持与服务等要素，采取先建设应用、后评价认定的方式，到2020年认定3000余门国家精品在线开放课程[1]。
总体来看，我国在线课程建设具有明显的国家政策导向、以项目建设的方式推进、与在线课程发展脉络相适应等阶段性特点。在课程建设过程中，一方面注重课程整体的规划与设计，不断吸纳先进的教育理念，使得课程建设科学、规范、新颖；另一方面注重课程内容呈现形式的拓展，内容上已由初期简单的文本呈现发展到基于多终端、类型丰富的课程资源。值得注意的是，在在线课程建设的每一个阶段，对课程质量都有明确的认定标准或规范要求，开展课程质量认定是每一个建设阶段的重要环节，也是保障课程质量的有效措施。
（二）认定标准分析
1.网络课程建设阶段
21世纪初，随着网络教育的快速发展，网络教育的质量引起了人们的关注。网络课程作为网络教育的核心要素，其质量是决定网络教育质量的关键。有学者认为，网络课程的实际教学效果不仅取决于课程质量本身，还取决于教学安排、学习支持服务、辅助资源等其他制约环节及课程的具体应用方式[11]，对网络课程质量评价不仅要对网络课程资源进行评价，更要对网络课程的教学实施情况进行评价[12]。在网络课程资源层面，CELTS-22“网络课程质量评价规范”课题组围绕课程内容、教学设计、界面设计、技术4个维度构建了包含36个指标项的网络课程评价规范[13]。董艳、黄荣怀等人认为，网络课件是网络课程资源的最重要组成部分，并构建了包括教学设计、教学内容、信息呈现、可用性、技术性、文档资料等6个一级指标、33个二级指标、45个三级指标的网络课程课件认证标准[14]。在网络课程实施层面，陈刚、张建伟等人从学习资源、教师、教—学过程、监控评价四个维度，提出了包括10条必须性指标和5条建议性指标的网络课程实施质量评价指标体系[12]。黄荣怀等人构建了包括课程导入、网络学习组织、学习支持、教学评价等4个一级指标、10个二级指标、19个三级指标的网络教学过程认证标准[15]。
网络课程（课件）作为在线课程建设的最初形态，为网络教育提供了重要的以异步学习为主的继续教育课程资源。该阶段，研究者普遍将网络课程视作是学习内容与学习活动的复合体，对网络课程质量的评价多从课程资源质量和课程实施质量两个维度综合衡量。通过对评价指标的进一步分析可以看出，这一阶段的课程评价多强调网络课程资源的共享与应用，课程设计简洁，资源类别单一，网站导航、超链接等数字化的技术特征较为明显。同时，评价指标体系已逐渐开始重视“以学习者为中心”的教育理念，学习者学习过程虽多以被动接受课程资源为主，但其自主意识已逐渐得到关注。
2.精品课程建设阶段
精品课程建设是“高等学校教学质量和教学改革工程”的重要组成部分，在建设方式上，采用了分级推进的建设模式，即按照校级、省级、国家级三级建设标准，分别由学校、省级教育管理部门、教育部组织评审和认定。精品课程建设阶段的课程评审和认定有三个特点：一是探索和实施分类评审。2003年教育部启动实施国家精品课程建设工程，最初几年高职、高专院校国家精品课程的评审与本科院校采用同一评审指标体系，2007年教育部专门制定了高职、高专院校国家精品课程评审指标体系，将高职、高专院校与本科院校区分开来，以便更好地体现高职、高专院校精品课程的特殊性[16]。此外，2007年教育部还制定了网络教育精品课程评审指标，首次将网络教育精品课程纳入国家精品课程建设体系之中[17]。二是不断修改完善评审指标。随着实践的深入和经验的积累，各类国家精品课程评审指标体系在保持总体稳定的前提下，在理论依据、分值分布、评审指标项等方面不断得到调整和修订。三是重视课程转型升级评审。教育部在2012年和2013年分两批开展了原国家精品课程升级为国家级精品资源共享课的评审遴选工作[18]，有效地推进了课程的持续建设，保证了课程质量。
国家精品课程评审指标体系为国家级精品课程建设与评审工作提供了指南，为省级、校级精品课程建设与评审工作提供了参考。与网络课程建设阶段相比，精品课程评价指标中不再过多强调课程的技术性特征，反映出在信息技术发展和学习者信息素养提高的背景下，技术与课程的融合已变得更为自觉。此外，随着精品课程评价指标的持续修订和完善，使其可操作性不断增强，体现了精品课程建设的新定位、新要求。随着实践的深入，评审指标体系得以分化，分类评审更好地满足了网络教育、高职、高专院校精品课程建设的现实需求。与此同时，开放、共享的课程理念逐渐深入人心，学校各自为政建立课程平台的局面逐渐得以改变，一些设计精良的课程共享平台开始出现，自主学习、协作学习等网络教学模式得以提倡。尽管如此，由于精品课程后期管理力度不够，一些精品课程的内容更新不及时，后续建设乏力，制约了课程资源的共享与利用[19]。
3.在线开放课程建设阶段
近年来在线教育蓬勃发展，国内针对在线开放课程质量研究的文献大幅增多。就目前而言，在线开放课程主要包括由高校建设应用、国家或省级教育主管部门认定的“精品在线开放课程”和由国内外著名高校、教育机构或企业开发建设的MOOC[20]，其中，MOOC已是我国在线开放课程的主要形式。在线开放课程的质量认定相关研究主要聚焦于课程资源质量、课程实施质量、用户学习体验和平台保障等方面。
在课程资源质量方面，多着眼于课程设计、师资队伍、课程技术特性、课程内容等静态课程要素，对课程的设计、内容、资源、师资等指标项的细化较为具体，基本不涉及课程的教学应用。如姚凯等人通过对在线学习认证标准、CELTS-22.1网络课程评价规范等评价标准的梳理归纳，结合从MOOC学院评论数据中提取的相关指标，建立了包含课程内容、教学设计、界面设计、媒体技术、课程管理等5个一级指标、25个二级指标的MOOC综合评价指标体系[21]。李青等人通过对国内外权威在线课程评价指标的归纳分析，提炼出15个在线课程质量观测点，在此基础上，结合MOOC课程的特殊性构建了包含媒体技术、课程内容、课程管理3个一级指标、11个二级指标的MOOC质量模型[22]。王璐等人以用户对课程的相关评价为原始资料，构建了包含系统特性、视频质量、教师队伍、教学内容、辅助性学习资料等5个一级指标、17个二级指标的在线开放课程质量评价指标体系[23]。童小素等人以CELTS-22.1网络课程评价规范为蓝本，在文献分析与专家访谈的基础上，建立了包含课程内容、教学设计、学习支持等3个一级指标、26个二级指标的MOOC质量评价指标体系[24]。
在课程实施质量方面，研究者重点关注课程的具体教学过程和教学效果，多将教学活动、学习活动、学习效果等指标项与课程资源评价指标项一起纳入评价范畴。《信息技术学习、教育和培训在线课程标准》从课程信息完善度、课程建设维护、课程设计、课程参与度四个维度构建了包括14个分项的指标体系[25]。由深圳大学发起成立的全国地方高校优课联盟（UOOC）在借鉴国家精品课程评审指标的基础上，制定了包含教学设计与方法、教学内容与资源、教学活动与考核、教学团队支持与服务、教学效果与评价等5个一级指标、13个二级指标、27个三级指标的MOOC质量评价指标体系[26]。冯雪松等人以向MOOC改进提供策略建议为目的，从量化因素和定性描述两个视角出发，提出了MOOC评价指标体系，其中量化因素包含课程内容建设、课程实施两个阶段，定性描述包括内容的组织、内容的呈现、讲授方法、课程的执行与推广等四个维度，整个评价指标体系还细化为课程内容安排合适、教学目标明确等37个三级指标[27]。邱均平等人在参考有关MOOC质量研究成果和国内外在线教育质量评价指标体系的基础上，设计了包含教学队伍、教学内容、教学资源、教学效果、教学技术等5个一级指标、14个二级指标的MOOC质量评价指标体系[28]。
在用户学习体验和学习平台保障方面，通常对学习者的学习需求、学习者与学习平台的交互等因素考虑较多，多从课程学习者的角度出发对在线开放课程质量进行评价。黄璐等人在梳理MOOC课程质量评价相关研究成果的基础上，通过问卷调查及探索性因素分析，构建出包含课程学习支持与服务质量、课程设计与学习进度、课程学习目标与教师素养3个一级指标和18个二级指标的MOOC课程质量影响因素模型[29]。安哲锋等人基于用户体验提出了包括学习内容的质量、学习交互的质量、学习支持的质量、学习期望的质量、学习感知的质量等要素的MOOC学习质量立体模型[30]。张昱等人针对目前高校网上视频教学资源存在的相关问题，提出了包含用户控制、系统管理、用户评论管理3个一级指标、11个二级指标、21个三级指标的基于互动点评的教学质量评价机制[31]。刘和海等人以Edutools评价系统为基础，提出了包含学习管理工具指标、系统支持工具指标、系统技术特性指标等3个一级指标、7个二级指标、16个三个指标的MOOC平台评价指标体系[32]等。
总体来看，近年来关于在线开放课程质量标准的研究是教育技术领域学者关注的热点问题之一，这一方面与国家大力推进在线开放课程建设、倡导在线课程学分认定的政策背景有关，另一方面缘于新的课程理念、技术的涌现，精品课程建设阶段制定的相关标准体系已显陈旧，难以满足在线开放课程的质量认定需求，而新的权威性在线开放课程质量认定标准尚未出台。在课程质量评价具体指标上，课程平台、课程视频技术特性及良好的用户体验等得到重视，微型化、泛在性等理念得到了体现。特别是在课程实施质量的评价层面上，对课程教学环节的关注体现出课程推广使用、完善改进、效果评价等动态性的过程特征，能够较全面地反映在线课程的质量。
研究视角多元化和注重对前期经典评价规范、体系的借鉴是这一时期在线课程质量认定指标体系研究的突出特点。研究者采用不同的视角对在线课程质量认定指标体系进行探索构建的同时，注重对CELTS-22.1在线课程评价规范、在线课程质量量规等国内外课程质量评价指标体系的参考和借鉴，在多数研究者所构建的指标体系中可以看到这些在线课程评价量规的影子。当然，从评价指标体系的内容框架来看，评价指标体系对在线开放课程的固有特性关注较多，对课程的赋予特性关注较少；对课程本身的构成要素关注较多，对课程价值主体的内在需要关注较少。一些评价指标体系存在评价指标重复性较高、覆盖不全面等问题。还有一些评价指标体系未能就其信度和效度进行检验，需要研究者继续开展深入的研究。
（三）研究方法分析在线课程质量评价的方法主要有实验评价法、观察评价法、分析评价法和指标体系评价法等[33]，这些评价方法各有优缺点，实验评价法和观察评价法比较耗费时间，并且需要投入较多的物力和人力。分析评价法对评价者的素质要求比较高。指标评价法具有客观性好、容易操作等优点。通过文献梳理分析发现，虽有个别研究者运用实验研究法进行了在线课程教学质量评价研究，如张岩等人提出了基于正交试验设计的网络课程教学质量评价模型，设计出了网络课程教学质量评价方案，并结合具体课程教学进行了实施[34]，但目前应用最为普遍的还是指标评价法，评价指标体系的构建和指标权重的确定是运用指标评价法的关键。
1.指标体系的构建
依据系统科学理论，可将评价对象根据某种特定的目标分解为若干层次，每个层次又可分解出若干组成要素，依据每个要素和每一结构层次所起的作用和功能形成评价指标体系[35]。文献分析发现，在线课程质量认定指标体系的构建方法主要有以下四种：
（1）经验总结法。经验总结法是指在在线课程质量评价的探索和实践中，完成课程质量评价指标体系的构建或对已有评价指标体系进行修订完善的方法。冯雪松等人在MOOC实践的基础上，借鉴国内外相关研究框架，探索构建了面向课程改进的MOOC质量评价指标体系，并在实践中取得了良好的效果[27]。国家精品课程评审指标体系也在不断总结课程评审实践经验的基础上对评审指标项进行多次修订和完善，保证评审指标体系的权威性[36]。
（2）文献归纳法。文献归纳法通常是在参照国内外权威评价标准，汲取以往质量标准评价研究相关成果的基础上，设计出相应评价指标项的方法。文献归纳法是目前最为常用的在线课程质量认定指标体系构建方法。李青等人在对国家精品课程评审指标、在线课程质量量规等国内外权威在线课程评价指标分析的基础上，通过归纳在线课程的质量因子构建了MOOC质量模型[22]。马瑞在对已有MOOC教学效果评价指标体系分析的基础上，结合专家访谈和问卷调查，构建了xMOOCs教学效果评价指标体系[37]等。
（3）专家咨询法。专家的选择是影响专家咨询法研究结果的关键因素之一，通常应当选择在线课程质量评价领域具有一定影响力的专家，以保证评价指标体系的科学性。童小素等人选择教育技术领域长期从事网络课程开发和数字化资源研究的人员组成咨询专家组，通过多轮调查咨询，专家组对MOOC质量评价指标维度及其重要程度的意见趋于一致，完成了MOOC质量评价指标体系的构建[24]。邱均平等人在广泛征求MOOC研究专家、MOOC教学团队带头人、主讲人意见的基础上，根据MOOC特点设计了MOOC质量评价指标体系[28]等。专家咨询法经常与文献归纳法、经验总结法等方法并用。
（4）理论模型法。一些成熟的理论模型为在线课程认定指标体系的构建提供了指导。王璐等人依据扎根理论，选取与课程质量相关的用户评价内容作为原始分析材料，通过开放性编码和轴心编码构建了在线开放课程质量评价指标体系[23]。黄荣怀等人基于PDAC（Plan-Do-Check-Act）评价模型，提出了网络教学过程PASE模型，并构建了网络教学过程认证标准[15]。
2.指标权重的确定
权重是指标项在同级所有指标中所占的比重，常以数据的形式来体现其作用的大小[38]。文献梳理发现，在线课程质量评价指标体系中常用的指标权重确定方法有德尔菲法、层次分析法、模糊综合评价法等。
（1）德尔菲法。德尔菲法常采用背对背的通信方式来征询专家组成员的意见，经过反复征询、归纳、修改，最后使专家组成员的意见趋于一致[39]。在在线课程质量评价指标体系制定的过程中，研究者常采用德尔菲法征询研究领域内的专家意见，完成评价指标体系的构建。董艳等人采用德尔菲法，通过向研究小组成员和专家组成员多轮次发放调查问卷，完成了网络课程课件质量认定标准指标权重的确定[14]。此外，德尔菲法在指标体系的构建过程中应用也较为广泛。腾霞等人采用德尔菲法，在多轮专家评议的基础上，对所制定的网络课程评价标准部分指标项进行修订，最后形成了网络课程质量评价规范[11]。
（2）层次分析法。层次分析法将一个复杂决策问题表示为一个有序的阶梯层次结构，并通过人们的主观认知经验进行判断，以及通过科学计算给出备选方案的优劣顺序[40]。与德尔菲法相比，层次分析法需要经过数学计算推理，对各指标权重的分析更具科学性[41]。层次分析法在在线课程评价指标权重的确定中应用较为广泛。姚凯等人借鉴层次分析法，设计了MOOC评价指标权重打分表，邀请专家打分并对打分结果进行计算得到指标权重[21]。童小素等人通过层次分析法，根据专家对指标项相对重要性的排名统计，运用Yaahp软件完成了评价指标体系中各指标项权重的确定[24]。
（3）模糊综合评价法。模糊综合评价法是以模糊数学为基础，应用模糊关系合成的原理，将一些边界不清、不易定量的要素定量化，从多个因素对被评价事物隶属等级状况进行综合性评价的一种方法[42]。赵馨蕊等人依据构建的大学物理MOOC教学质量评价指标体系，运用模糊综合评价法对同济大学“大学物理1：力学、相对论”、东南大学“大学物理专题：振动与波、光学、热学、量子物理”、山东大学“大学物理———力学和热学”三门课程进行了评价[43]。邱均平等人根据模糊综合评价法原理，通过构建MOOC质量评价模糊集合、确定评价指标权重集、建立各单一要素对各个评审等级的隶属度，构建了MOOC质量评价模型，并运用模型对武汉大学开设的“信息检索”课程质量进行了评价[28]。
总体来看，大部分评价指标体系的构建遵循以下范式：首先，从分析已有的在线课程质量评价体系入手，在文献分析、实践经验总结的基础上，初拟评价指标体系；其次，通过专家咨询、问卷调查、个案访谈等方法对评价指标体系进行修订和完善；然后，采用德尔菲法、层次分析法、模糊综合评价法等确定评价指标和指标权重；最后，进行小范围的实践验证，进一步完善评价指标体系。在构建指标体系的过程中，时常会将多种指标构建和权重确定的方法并用，某一具体方法也会在指标体系构建和权重确定等多个阶段得以应用。当然，尽管指标评价法在在线课程质量认定研究中已有较为充分的应用，但其评价指标体系的构建囿于主流范式的现状还需突破，应积极借鉴相关学科的研究成果，重视研究方法的创新。此外，随着数据挖掘和学习分析技术的发展，在线课程学习者在学习过程中留下的大量信息将会为在线课程质量评价提供有效数据，在评价指标体系的构建过程中应当注重对这类数据信息的挖掘与应用。
五、在线课程质量标准构建新思路
通过文献梳理发现，目前在线课程质量认定的方法相对传统、单一，缺乏基于课程价值主体需要视角的自下而上的理论研究和实证探索，使得在线开放课程利益相关者的真实诉求难以得到充分的体现。此外，已有的研究成果尚未涉及高校在线开放课程教学质量认定标准的研究。起源于20世纪60年代后期的质量功能展开（QualityFunctionDeployment，QFD）理论，借助质量屋工具，通过对用户需求的多次展开，将其转化为产品的设计要求、零部件特性、工艺要求和生产要求[44]，使用户的需求在最终形成的产品中很好地体现出来。近年来，随着QFD理论的日趋成熟，已在制造业、服务业、教育、医疗等行业得到广泛应用，该理论可以为高校在线开放课程教学质量认定标准的构建提供全新的视角。用户需求的获取是QFD过程中最为关键、也是最难的一步[45]，在基于QFD理论的在线开放课程教学质量标准的制订过程中，可以通过对在线开放课程核心利益相关者的问卷调查、访谈及对课程平台用户留言的梳理等，开放式地获取课程用户的需求数据。在此基础上，通过内容分析法挖掘用户对在线开放课程的真实需求，进而构建课程质量特性转化质量屋、教学特性转化质量屋，最终实现对在线开放课程教学质量标准的构建。
六、结语
目前，教育部正在积极研究制定慕课国家标准，并力争把中国标准推向世界，为世界慕课标准制定提供中国方案[46]。本文在对国内在线课程质量认定相关政策、标准及标准构建方法梳理分析的基础上，提出了基于QFD理论开展高校在线开放课程教学质量认定研究的新思路。在后续的研究中，我们将会以QFD理论为指导，对高校在线开放课程教学质量认定进行深度探索。
