前文设计的效果测量题项和内容分析编码体系是独立使用还是联合使用?由谁来用?在什么情况下用?还有无其他评估实时网络听评课效果的方法和工具?解决这些与评估实施有关的问题,需要构建一个综合的评估技术体系。
(一)方法
1.问卷调查法
问卷调查法是由听课教师填答问卷,评估者统计分析分卷而得到评估结果的方法。根据对问卷中封闭式问题和非封闭式问题的统计分析,可以获得某现象的绝对数、相对比例和分布状况等数据,也可以用来验证假设、探究因果、发现规律,形成定性研究或定量研究的结论。
2.内容分析法
内容分析法是一种半定量研究方法,它以前面设计的评议交流质量内容分析编码体系为分析框架,由两个或两个以上的评判者对教师在实时网络听评课中评议交流的文本进行平行操作,形成量化描述,可以较为有效地评判教师评课交流的整体质量,了解个体教师在实时网络听评课中的专业表现。
3.专家评估法
专家评估法是依靠专家的专业知识、经验和对听课教师以往情况与现状的了解,通过直观归纳,对听课教师的听评课实际效果做出判断。为保证主观判断对复杂问题评估标准的统一性、评估操作的常态化,在评估对象规模不大的情况下,可采用专家评估法中的个人判断法,即依靠个别专家对评估对象做出判断。
4.实地研究法
利用网络的便捷性,评估者可以方便地进入听评课现场,感受、倾听和观察老师们在听评课中的行为表现,直接获得他们在系统平台中的在线痕迹和言语资料,并对听课教师或其他与活动相关的人员进行在线或非在线访谈,依靠评估者本人对第一手资料的理解和抽象概括,得出评估结论。实地研究法和专家评估法的区别在于得出评估结论的依据和途径不同,实地研究法更注重对一手资料的收集和运用。
5.其他评估
实时网络听评课效果,还有访谈法、观察法、个案研究法等多种方法。
(二)工具
1.实时网络听评课效果得分综合模型
在定量研究实时网络听评课效果时,为使效果总值更合理,应考虑具体测量题项对整体测量结果的权重贡献。基于因子分析中的主成份分析法,可以计算出“专业发展”与“参与程度”两个主成份的线性组合,再将线性组合的系数做加权平均和归一化处理,可以得到指标权重,并得出实时网络听评课效果得分综合模型:F=0.177q1+0.162q2+0.166q3+0.149q5+0.166q6+0.179q7。
该模型中的前三项是听评课“参与程度”得分模型,后三项是“专业发展”得分模型。结合各题项的权重,可以对问卷结果做分项分析,发现与具体题项或题项组合有关的非表象信息。通过比较多次效果值的高低变化,可以发现活动效果的变化,比较不同活动效果的差异。
2.问卷
本研究设计了测量实时网络听评课效果的主要题项,并经过预测试后进行修订,形成正式问卷。问卷中除封闭型题项,还有少量可随需修改的半开放式问题与开放式问题,便于评估者结合具体情境获得更有针对性的信息,并在使用中适度修改,增强问卷的实用性。
3.其他
广义地看,与评估效果有关的工具,还包括访谈提纲、观察结构表以及和记录信息、分析资料有关的其他设备、软件等,如摄录机器、SPSS软件等。以工具视角来看,人既是实施评估的主体,又是技术体系中的重要工具,尤其是专家评估法中的“专家”、采用实地研究法的研究者、采用观察法的观察者等。
(三)原则
1.方法联用,资料互证
实时网络听评课是复杂情境下的教育实践活动,单一的评价技术难以获得对主体和教育事实全面、整体、解释性的理解,应结合实施效果评估的目的、所具备的评估条件,对方法与工具进行合理选择、组合使用。通过多种方法和工具联合并用,利用多种来源的资料,可以增加交叉性优势,减少非重叠性弱势,消除评判资料的不确定性,保证听评课效果评估的效度。
2.不拘表面,深度评估
定性研究与定量研究相结合,已基本成为教育研究的共识。定性与定量研究的区别不止在方法论上,更在于认识论、理论基础、研究过程等方面的区别。在研究过程中对同一材料不同的分析程度,对同一工具的不同使用,可能会使典型的定量研究方法与工具止步于定性研究的结论,或使可以有量化结果的质性材料因缺乏抽象而损失资讯价值。因此,在实施评估时不停留于表面材料、浅层操作,应深入认识方法和工具可以有的评估效能,深入分析和运用材料中所蕴含的丰富信息,使评估结果全面、深入、客观、易应用。
3.主体合作,共同评估
评估主体应是实时网络听评课活动的促进者、组织者和参与者的不同组合。多元主体相互配合,共同评估,一方面有益于保证评估结果的效度,一方面有利于各类主体对评估指标形成共识,进而完善指标,促进听评课活动的组织与实施,发挥评估指标的行为导向作用。
(四)效果评估技术体系的整体结构
实时网络听评课效果评估技术体系是一个横纵交织的开放性系统。方法、工具和原则是纵向维度的基本结构,每一具体的方法、工具和原则是纵向结构中的具体构件。“方法”中的构件有问卷调查法、内容分析法、专家评估法、实地研究法、访谈法、观察法、个案研究法等;“工具”中的构件有调查问卷、效果得分综合模型、内容分析编码体系、访谈提纲、专家等;“原则”中的构件有“方法联用,资料互证”“不拘表面,深度评估”“主体合作,共同评估”等。在横向维度上是构件之间的多向联结——相互依赖、互为支撑、协同作用。当前列举的构件,非穷举,其他构件可以进入系统,发挥效用。从整体上看,系统具有生长性和开放性,既有构件的增补、修订,又有构件的沉没、淡出,并允许对构件分解,以适应不同的评估需要。(本文由中国论文平台网提供,如有更多需要,可登陆官网咨询客服。)