摘要

尽管学习分析(LA)具有支持教师日常实践的潜力，但由于教师作为学习分析系统和干预措施的共同设计者的参与有限，它的采用尚未得到充分接受。这是本文研究的重点。遵循基于设计的研究(DBR)方法，并以社会文化视角和人机交互(HCI)的概念为指导，我们在真实的教育环境中设计，测试和评估了面向教师的LA仪表板，画布讨论分析仪表板(CADA)。这个仪表板的目标是通过洞察学生的参与和话语模式来支持教师在在线环境中的角色。我们通过对大学教师进行10次深度访谈来评估CADA，以考察他们在为期一年的7门本科和研究生混合课程中使用CADA的经验。研究结果表明，在整个分析工具设计过程中，让教师参与其中，并让他们控制/代理LA工具，有助于在实践中采用这些工具。此外，仪表板指标与相关理论结构的对齐允许教师监控学习设计并动态更改课程设计。在这项研究中，老师们强调了洛杉矶仪表板的必要性，通过超越事物的现状，向事物应该如何发展，提供可操作的见解。这项研究有几个贡献。首先，我们做出人工贡献(例如CADA)，一个洛杉矶仪表板，以支持教师洞察学生的在线讨论。其次，通过利用理论，并与教师合作，在真实的教学环境中开发和实施仪表板，我们为学习分析和技术增强学习领域做出了经验，理论和方法上的贡献。我们通过对研究人员、仪表板开发人员和高等教育机构的实际设计和实现考虑来综合这些。

1 介绍

技术的进步提高了人们对收集数据的兴趣，这些数据可以深入了解学生在在线和实体学习环境中如何使用学习材料。通过收集、分析和测量学生数据——这一过程被称为学习分析(LA)——教师和其他教育利益相关者旨在利用学习分析提供的形成性和总结性反馈来监控、反思和优化学生的学习和教学过程(Bodily & Verbert, 2017;Ifenthaler等人，2018)，特别是在以技术为媒介的学习环境中，教师往往难以监控和支持学生的主动学习(van Leeuwen等人，2019)。洛杉矶的部分研究工作致力于开发仪表板，交互式视觉显示，根据学生的学习模式和互动，为教师总结和可视化信息(Verbert等人，2014;不多,2013)。然而，仪表板的使用及其对教师日常实践影响的证据仍然有限。这一缺点可以部分解释为教师在洛杉矶工具的规划和设计过程中的参与有限(Martinez-Maldonado等人，2020)，这些工具通常由洛杉矶研究人员和技术供应商设计，他们往往更关注这些工具的技术方面，而忽略了它们的教育和教学方面(Kaliisa等人，2021a)。Buckinghum Shum等人(2019)和Van Harmelen和Workman(2012)认为，要想成功实施洛杉矶，需要考虑其技术、社会和教学方面的因素，因为洛杉矶是社会技术系统的一部分。

本研究的目的是描述一个面向教师的LA仪表板的规划、设计、实施和评估，这里称为画布讨论分析仪表板(CADA)。我们采用参与式方法，特别是基于设计的研究(DBR)方法和人机交互(HCI)原则，根据教师的教学需求和在问题识别阶段确定的LA偏好，与教师一起迭代开发仪表板。开发的仪表板结合了结构和内容分析，告知教师关于学生的参与、参与和在线讨论产生的话语模式。本研究对技术促进学习和LA文献做出了一些贡献。首先，我们介绍了CADA，一个可以作为插件集成到Canvas和其他学习管理系统(lms)中的LA仪表板，以支持教师及时了解学生的在线讨论。其次，通过7名教师和9门课程在一年多的时间里对CADA进行评估，我们提供了通过CADA的参与式迭代设计过程获得的经验、理论和方法见解和经验教训，作为一套设计和实施原则，供LA仪表板的研究人员和开发人员使用。

1.1 背景及相关文献

1.1.1 中学教师的角色与挑战在线学习环境

越来越多地使用数字学习工具和平台，使得面对面课程转变为混合课程和所有信息都可以在线传递和访问的课程(Børte et al.， 2020)。Canvas和Moodle等学习管理系统(lms)通过提供在线内容支持学生学习，允许在实体教室之外进行在线协作活动(例如异步在线讨论)。因此，教师应该设计学习活动，并为学生提供指导，以激发学习所需的行动(van Leeuwen et al.， 2019)。然而，教师往往难以监控和支持学生的在线主动学习(Damsa & de Lange et al.， 2019)。这部分是由于教师的大量任务和在线学习活动中产生的大量信息，因为这可能会使教师不堪重负，增加他们的认知负荷，并减少他们对学生特定需求的关注(Van Leeuwen等人，2019)。因此，可以使用仪表板等辅助工具来告知教师并使他们能够更快地了解学生的参与和参与模式。本研究旨在为这一领域做出贡献。在下一节中，我们将简要介绍关于洛杉矶仪表板的现有研究，特别关注面向教师的洛杉矶仪表板。

1.1.2 〇支援教师在线学习环境政府通过洛杉矶的仪表板

LA仪表板将自动分析技术与交互式可视化相结合，用于基于学生活动的大型复杂数据集的有效理解、推理和决策(Schwendimann等人，2016;Jivet et al.， 2017)。教师可以使用从这些仪表板中获得的见解作为评估和反思教学实践的工具(Keim et al.， 2008)，并跟踪学生的社会和认知进步(Van Leeuwen et al.， 2015;Bakharia & Dawson, 2011)。例如，如果仪表板提供有关学生讨论主题的性质和上下文的信息，则可以使用这些信息来识别误解并引导学生朝着正确的方向前进。面向教师的仪表板可以被视为技术人工制品，在在线学习活动中为教师提供间接支持(Rummel, 2018)。

对面向教师的仪表板的研究包括Bakharia和Dawson(2011)的工作，其中介绍了社会网络分析教学平台(SNAPP)。SNAPP产生可视化和指标，以协助评估在线讨论中的参与和社会模式维度。学生关系参与系统是洛杉矶的另一个仪表板，它允许教师个性化他们与大量学生的互动，使用来自这些学生的数据来告知他们的教学决策(Dollinger et al.， 2019)。van Leeuwen等人(2019)开发了三个面向教师的仪表板，提供不同的信息层(镜像、建议和警报)，而Herodotou等人(2019)提出了早期预警指标(EAI)仪表板，该仪表板检查了15门本科课程中14,000多名学生的学习成果。基于559名教师的样本，调查结果显示，大多数使用EAI仪表板的教师只是偶尔登录，而且他们的使用情况随着时间的推移而不一致。这一发现与Dazo等人(2017)一致，他们研究了14名教师对分析仪表板的使用情况，发现大多数教师只在很短的时间内访问了分析，这使得深入探索变得困难。作者还报告说，教师很难解释仪表板上的数据，因为信息没有以可操作的方式呈现，这表明大多数仪表板没有将从学生活动中识别出的模式转化为行动的可能性(Keim等人，2008)。最近，Martinez-Maldonado等人(2020)采用协同设计方法，在临床模拟的团队合作背景下设计有效使用半透明LA系统。来自四位在职教师和学科协调员的研究结果表明，在此过程中产生的代理可视化帮助教师反思他们的教学实践，特别是通过使用护士活动的可视化痕迹来修改学习设计。Wise和Jung(2019)也报告了积极的结果，他们报告说，教师将仪表板视为通过通知相关干预措施和修改课程设计来支持其教学实践的重要工具。

尽管取得了这些进展，洛杉矶的这一研究领域仍然存在差距。首先，虽然面向教师的仪表板越来越多，但它们在教师日常实践中的使用是有限的(Vieira等人，2018)。这可以部分解释为教师在洛杉矶仪表板设计中的参与有限(Dollinger等人，2019)，迄今为止文献中与利益相关者在洛杉矶工具开发中进行成熟和透明合作的例子很少(Buckingham Shum等人，2019;Wise & Jung, 2019;Holstein等人，2018;van Leeuwen等人，2019;Martinez-Maldonado et al.， 2020)。然而，这项技术的有用性应该根据其对实际用户(例如教师)的价值来衡量(Dollinger et al.， 2019)。其次，仪表板只与学习理论保持最低限度的一致(Gasevic等人，2016)，这使得很难选择收集和可视化给教师的数据的性质(Jivet等人，2017)。这意味着需要做更多的工作来设计基于学习科学的LA仪表板，希望增加它们与教师教学需求的相关性。最后，大多数现有的LA仪表板都是独立的，这意味着它们没有集成到流行的lms中。这意味着有兴趣使用此类工具的教师和研究人员必须将学生活动数据导出到第三方工具中，这是一项劳动密集型工作。在实际实践中，由于教师的时间限制，这些工具的使用变得不可能。

1.2 目前的研究

为了帮助缩小上述差距，本文提出了一项参与式DBR研究，该研究涉及与高等教育教师共同设计、实施和评估LA仪表板。本研究以以下研究问题为指导:

RQ1:教师使用CADA的经验是什么?

这个问题旨在探讨参与CADA设计和实施过程的教师在多大程度上发现它有助于他们在在线讨论中支持学生学习的意识。特别是，我们想要探索教师的动机，他们对仪表板功能的反应和使用，他们面临的挑战，以及他们对改进仪表板的建议。

RQ2:我们如何设计和实施满足教师教学需求和期望的LA仪表板?

有了这个问题，我们想要反思来自不同案例研究的经验，以了解在教师参与的LA系统开发过程中，什么是有效的，以及设计、实施和评估的本质，以便从这个过程中学习，并为未来的研究提供信息。

目录

摘要 1 介绍 2 学习分析仪表板开发过程:设计-based研究方法 3.研究设计 4 结果 5 研究结果讨论 6 结论 数据和材料的可用性 参考文献 致谢 作者信息 道德声明 搜索 导航 ＃＃＃＃＃

2 学习分析仪表板开发过程:设计-based研究方法

Canvas分析仪表板(CADA)的设计受到基于设计的研究(DBR)框架的启发(Barab & Squire, 2004)，该框架遵循一种迭代的方法来探索、设计、实施和评估创新的人工产品，以解决基于真实环境中研究人员和实践者之间合作的真实教育问题(Van den Akker等人，2006;里夫斯,2006)。DBR常用于学习科学，它以理论构念为起点;通过在实际环境中测试，与涉众一起迭代地开发工具。学习意识工具-用户体验方法(LATUX) (Martinez-Maldonado et al.， 2015)也指导了迭代设计阶段。LATUX通过强调界面和感知工具的开发，通过五个迭代设计阶段来构建DBR过程的各个部分，下面简要概述了这五个阶段。

1)阶段1:问题识别。

开发CADA的出发点是了解教师在日常实践中面临的挑战，以及如何使用LA作为应对这些挑战的工具。为了实现这一目标，我们对挪威两所大学的16名教师进行了一项探索性研究。这一阶段是探索性的，结果已经在其他地方报道过(Kaliisa et al.， 2021b)。这一阶段的研究结果表明，教师很难及时改变学习设计，并理解学生在在线学习环境中的学习行为。教师发现需要LA来表明学生及时参与和讨论在线活动，以支持及时的变化。这些见解被用作一个起点，从中探索一系列基于学生在线活动的候选LA可视化，这些可视化可以解决教师的需求和挑战。

2)阶段2:创造低保真原型。

下一阶段探索了一系列基于清单和过程LA的候选LA可视化。这些可视化图像作为纸上原型与教师分享，并以理论概念为基础，以满足教师的需求。这一阶段的结果超出了本文的范围，但已经在其他地方报道过(Kaliisa, et al.， 2020)。总之，基于对四位教师的访谈的结果表明，教师认为纸上原型在学生的在线行为方面具有信息性，并且可以为实时课程设计变化提供见解。与此同时，老师们发现一些可视化图像太复杂，难以理解，并要求以简单及时的方式呈现，以支持及时的课程调整。正是在这样的背景下，一个可以集成到教师使用的相同教学环境中的高保真原型(high-fidelity prototype, CADA)被开发出来。

3)阶段3:创建高保真原型。

基于第一阶段和第二阶段的见解，开发了一个自动化的高保真原型(CADA)(如图1所示)，该原型位于画布课程中，作为模块或插件，用于自动分析面向教师的可视化画布上的在线讨论。为了在实际课程试验之前增加真实性，我们使用了来自在线讨论论坛的样本数据来评估用户如何与工具交互。按照DBR的建议(Barab, 2006)，设计过程由具有广泛技能和观点的团队(设计师、程序员、工程师、研究人员和学习科学家)组成。这使得仪表板的开发与不同涉众的需求保持一致，同时保持必要的技术和设计需求。开发过程经历了几次迭代，根据参与最初试点研究的教师的反馈，对高保真原型进行了修改。接下来，我们将介绍CADA的特点和理论基础，然后详细介绍它是如何在真正的大学课程中实施和评估的。

CADA接口:一般参与分析(上)，关键概念的总结(中)，以及个别学生之间的联系(下)

2.1 介绍每

CADA是一个LA仪表板，可以将Canvas LMS讨论论坛中学生使用的参与、社交网络、情绪和概念可视化。仪表板基于对讨论论坛帖子和交互模式的自动分析，提供了结构级和内容级分析的概述，教师可以通过简单的可视化(如社会关系图)来一目了然地了解学生参与在线讨论的情况，社会关系图说明了学生的话语结构，以及学生如何分享知识和建立在彼此的贡献上。此外，仪表板还提供了详细的、细粒度的话语分析，根据关键概念、个别帖子和情绪进行总结。然后，教师可以将获得的见解作为诊断工具来改进教学并为他们的学习设计提供信息。CADA界面如图1所示，其数据来自其中一个干预课程。

2.2 CADA的理论基础

CADA的设计借鉴了学习科学和人机交互(HCI)的原则(Barab & Squire, 2004;Helander, 2014)，以满足其理论基础，满足利益相关者在现实生活中的需求(Holstein et al.， 2019)。因此，与仪表板相关的含义、互动机会、功能和属性与教师一起定义(Giacomin, 2014)，但同时考虑理论角度。从HCI开始，我们建立在设计原则的基础上，例如与利益相关者、能指、约束、错误预防以及减少认知负荷和决策时间(Martinez-Maldonado等人，2015)。此外，CADA还具有来自战略和分析仪表板的元素(Few, 2006)，例如提供学生参与的快速概述，从而使教师能够深入了解潜在细节以获得更深层次的意义。

从学习科学的角度来看，CADA的设计是基于俄罗斯心理学家维果茨基(Vygotsky, 1978)的社会文化视角。特别是，我们从Säljö(2002)的学习概念中获得灵感，即参与和掌握由人工制品(如在线讨论)介导的特定主题的话语和实践(Säljö， 2002)。高等教育的研究人员已经研究了这个问题几十年，积极参与被认为对学生的学习至关重要(Børte et al.， 2020)。学生有机会通过评估信息、阅读和评论同学的想法和作品，以及从同学和老师那里获得对自己想法的反馈，共同讨论学术主题和问题，这是构建更深层次理解的重要组成部分(Black & William, 2009)。因此，教师需要了解学生在特定学科话语中的参与情况，以确定学生在学习轨迹中前进所需的反馈类型(Black & William, 2009;Dolonen & Ludvigsen, 2012)。在这方面，利用调解和人工制品的社会文化概念，CADA可以被理解为向教师传达学生参与和话语模式的工具，并支持教师在理解这些模式方面的认知努力。

此外，语言的社会文化概念强调，话语被理解为口头和书面陈述，被认为是通过分析学科知识和学生之间的互动来理解学生个体学习的重要场所(Knight & Littleton, 2015)。因此，这些假设提供了一个理论基础，将语言(如在线讨论中所表达的)作为一个关键的智力人工产物，作为学生学习的代理，与教师的教学需求(通过访谈确定)一起，为CADA的主要学习理论结构“参与”和“话语”奠定了基础。

2.3 CADA的特点

• 仪表板:该功能为教师提供了课程内讨论活动的快速概览，并访问过滤功能，例如活跃和不活跃参与者的百分比、交互总数和特定主题的汇总得分。通过该功能显示的信息可以由教师根据特定的周、讨论主题或时间框架进行定制。

• 话语分析:该功能显示学生在选定的讨论论坛中讨论的关键主题以及使用这些主题的上下文(见图2)。

• 参与:此函数包含有关学生参与度量的信息。它提供了参与论坛的所有学生的详细视图，帖子和连接的数量，以及每个学生的总贡献的百分比，这是根据帖子的大小计算的。老师还可以在一个地方阅读与特定学生相关的所有帖子，并在帖子发布时间上加上时间戳。这样的见解可以为教师提供诸如学生是否参与讨论以及在多大程度上参与讨论等信息。

• 网络:这个功能提供了学生在讨论论坛上的社会互动的细节，这可能对有兴趣了解学生在结构层面上如何相互联系的教师很有用(见图3)。

• 情感分析:该功能使用文档级情感分类粒度(Kagklis et al.， 2015)分析附加到每个讨论帖子的情感。在这里，讨论后——分析的最基本单位——被分为表达总体上积极、中立或消极的观点。先前的研究结果表明，在线讨论中表达的情绪与学生的表现和保留有关(Kagklis et al.， 2015)，这意味着识别学生的情绪有助于为学习活动的有效设计提供信息。

CADA的话语分析显示了讨论帖子、关键概念及其使用背景

CADA的社交网络图展示了学生在论坛上的互动

4)第四阶段:CADA在试点和现实课堂的实施和评估。

CADA的实施是基于不同的课程和教师愿意在他们的课程中进行设计更改以适应推出。在实施到真实的课堂环境之前，相关的伦理程序是通过国家伦理委员会和大学IT服务团队完成的。此外，研究人员会见了每一位老师，向他们介绍了仪表板，并提供了说明，向他们展示了仪表板的所有功能。第一个实施阶段于2020年秋季开始，有6名教师和5门课程。在第一次迭代中实现的初始自动化仪表板是一个简化版本，作为起点。这个版本后来根据教师的反馈进行了更新，第二次迭代包含了改进的设计和教学功能。例如，一些教师要求改进界面，使其更容易导航，在用户选择讨论主题时为用户提供明确的指导。老师们还表示，他们不仅希望展示学生使用的关键概念，还希望展示这些词汇的使用背景。此外，在我们的第一个原型中，我们尝试了各种图表类型和向教师显示数据的方式。例如，我们最初以图表的形式展示参与的学生;然而，老师们发现这是压倒性的，缺乏信息，特别是在与大量学生(超过50人)的讨论中。然后，新的变化被构建到修改后的仪表板中，这种方法与DBR的循环性质相一致(Barab & Squire, 2004)。第二次迭代于2021年春季学期完成，有四名教师和四门课程。在这段时间里，老师们接受了关于用户体验的采访。关于在真实实践中评估CADA的进一步细节如下。

3.研究设计

本研究旨在了解教师在实践中使用CADA的观点和经验。在这方面，我们采用了一种定性的方法来探索教师在真实课程中使用CADA的经验。下面我们介绍了参与者和用于收集和分析CADA实施数据的方法。

3.1 参与者

实施CADA的7位教师——其中4位有分析学方面的经验——代表了9门不同的本科和研究生课程。由于冠状病毒大流行，所有课程都在网上提供。参与是自愿的，只有教授包含在线讨论的课程的教师参与。三位教师参与了探索阶段(第一阶段)和CADA实施的两个周期;这对于检查CADA如何随着时间的推移而改进特别有帮助。表1概述了参与CADA实施和评估的教师的特征。

3.2 数据收集和分析

3.2.1之上面试

对参与的教师进行认知刺激访谈，访谈是在教师运行CADA界面的同时进行的。研究表明，认知刺激访谈有助于参与者回忆和反思他们正在谈论的经历，并为研究人员提供了更好的洞察参与者理解和解释现象的方式(Dempsey, 2010;Wise & Jung, 2019)。每次访谈都以教师的背景、经验和参与干预的动机等一般性问题开始。面试的主要部分包括三个部分，在参与者浏览仪表板时回答这些问题。这些部分是(1)实施和使用，包括教师如何实施CADA，他们如何采用课程设计，实施过程中的限制以及所需的努力;(2)增值和未来使用情况，包括仪表板对其教学实践的影响、对仪表板的关注、改进建议以及未来使用该工具的意愿等问题;(3)设计和实施方面的考虑，包括什么可行，什么不可行，应该如何做，以及从中吸取的教训等问题。访谈问题的开发是由该研究的两个研究问题(例如，教师使用CADA的经验是什么?我们如何设计和实施满足教师教学需求和期望的LA仪表板?)。此外，部分问题是根据Kirkpatrick(2009)的评估模型开发的，该模型指导了对访谈笔录的演绎分析。访谈每次持续25到40分钟，可以在线进行(例如通过Zoom)，也可以在约定的日期进行现场采访。参与者在知情的情况下同意参与，所有的访谈都被录音，然后由第一作者逐字抄写。

3.2.2 数据分析

访谈数据的分析是由一种结合了演绎和归纳分析元素的溯因法指导的(Linneberg & Korsgaard, 2019)。首先，采访是由第一作者逐字逐句记录下来的。然后根据Kirkpatrick(2009)的模型进行演绎编码，该模型根据四个标准(反应、学习、行为和结果)评估项目的结果。为了减少数据，我们根据Kirkpatrick(2009)的四个层次对数据进行了排序。在这个模型的指导下，每个访谈回应，包括一组台词/话语，被用作分析单位。通过这样做，我们阅读回应，以确定他们是否符合柯克帕特里克的评估模型的四个预定义的四个层次。通过遵循这种方法，我们能够将分析集中在那些被认为是重要的问题上，以回应研究问题。由于柯克帕特里克的模型最初是为评估培训计划而开发的，因此一些级别采用了Few(2009)的仪表板设计原则。附录a提供了完全适应的评估标准。其他代码是通过主题分析方法归纳生成的(Braun & Clarke, 2012)，其中代码和后来的主题是根据数据中的模式开发的。在开发主题时，我们同时关注数据的语义和潜在特征。这一过程产生了与研究问题相关的五个主要主题(见图2和图5)。为了确保数据的有效性，编码是由另一位没有参与项目的研究人员进行的。社会调节被用来解决编码过程中的差异。

4 结果

4.1 RQ1。教师使用CADA的经验是什么?

针对第一个研究问题，产生了三个主要主题(见图4)。

访谈主题分析中出现的主题(RQ1)

以下4.4.1主题1:对仪表板功能的反应

这个主题回答了RQ1的问题，该问题旨在探索教师在真实实践中使用CADA的经验。老师们对仪表板的具体功能进行了评论，特别是界面、参与、话语和社交网络功能。所有的老师都表示，仪表板非常直观，易于使用:“我认为这是完美的。它非常直观，而不是很花哨”(T1IT1)，“它给了我我需要的东西，而不需要太多的数据素养”(T3IT1)。另一位老师补充道:“老实说，这个工具在用户界面上使用起来非常简单，因为只需要按几个按钮就可以了。”三位老师评论了社交网络分析功能如何帮助他们了解学生的互动情况。“社交网络功能非常重要，因为它与社会学习方面有关”(T5IT1)。教师们发现的另一个令人着迷的功能是话语分析功能(见图2)，特别是关键词部分，它提供了学生在特定讨论中使用的关键词的总结。一位老师指出，“我认为云这个词很简单，信息丰富，很适合与学生分享”(T6IT1)。

然而，其他老师对仪表盘的一些功能提出了质疑。例如，一位老师不相信话语分析功能的有用性:“我通常对短语比对单个单词更感兴趣，所以我会挑选出一些显示知识发展的东西，这是你需要人工智能或机器学习来帮助的事情”(T5IT2)。这位老师补充说，虽然仪表板显示了讨论内容的情况，但它几乎没有提供应该做些什么来改善学生学习的见解:“例如，如果我看到学生X，她正在参与，但她能做些什么来改善并不清楚。”她是否可以使用更多的概念或与其他人进行更多的互动?”(T5IT2)。另一个评论说，虽然该工具提供了学生讨论的关键概念的概述，但这些见解并没有提供对正在讨论的内容的细微理解(T3IT1)。

4.1.2 主题2:感知有用性

评估设想与制定的设计:老师们对仪表板的潜力进行了评论，为他们提供了评估设想和制定的学习设计的信息。其中一名学生说，“当我看到《戴斯》时，那是我布置给阅读材料的一篇文章，这向我证明了他们已经阅读了布置的阅读材料，并试图将它们融入到讨论中”(T3IT2)。另一位老师则强调了能够看到学生对预期教学活动的反应的重要性:“这个仪表盘向我展示了学生对活动的反应”(T7IT2)。第三个人强调，网络分析提供了关于学生与指定活动互动的信息:“我可以说，我不得不仔细检查网络图和讨论中的内容，我意识到，是的，没有人评论任何东西，因为所有的贡献都指向原始帖子”(T3IT2)。

组织和定制面对面课堂活动:教师们强调了CADA在通过简单的可视化提供学生学习过程信息方面的重要性，他们利用这些信息来组织和定制面对面课堂活动。他们特别指出，了解学生对某一主题的误解等信息会产生积极影响，因为这有助于他们在讲座和研讨会上做出必要的改变。例如，一位老师指出，“当我看到话语分析时，我意识到学生们并没有深入了解关键概念。例如，他们谈论了很多关于“Zoom”而不是合作，正如我所期望的那样，后来，我说，“这些东西我们将在稍后的课堂上深入研究”(T1IT1)。根据这位老师的说法，CADA的见解使物理课更加连贯。另一位老师也提出了类似的见解:“对我来说，仪表板上的见解帮助我组织课程，并根据他们谈论的事情进行定制”(T2IT1)。第三位老师补充说:“我最后用仪表板总结和综合了他们在上课开始时说的问题，我可以说仪表板上可视化的问题对我课前非常有用。”(T7IT2)

反映参与度和参与度:访谈中反复出现的一个主题是教师使用CADA来显示学生对给定讨论主题的参与度，因为这有助于更快地做出学习设计决策并节省大量时间:“我有时会在讲座前查看该工具，并浏览论坛上所有学生的提交。这是相当苛刻的，但它是更容易的工具，因为我可以看到一切一目了然。

4.1.3 主题3:仪表板的未来使用和改进建议

老师们被问及他们是否愿意并准备在日常实践中使用仪表板，他们都表现出了兴趣。

“我承认，在重新设计课程时，加入讨论等元素来获取分析数据是额外的工作，但最终，这对学生和老师都是有用的，所以我会考虑再做一次。””(T2IT1)。

“到目前为止，我已经用了两个学期这个工具，我可以说它对我准备研讨会非常有帮助。”以后我会继续使用它。”(T4IT2)。

“我已经看到了仪表板提供的价值，比如在上课前了解学生的知识，我认为我未来不需要太多的推动就能使用它。””(T3IT2)。

老师们还提出了改进建议，以方便将来使用仪表板。例如，其中一人建议需要超越生成讨论中使用的关键概念，提供显示概念之间关系的语义解释。教师们还表示，CADA需要从展示事物是如何(学生如何互动以及他们使用的概念)扩展到包含可操作的见解，从而告知教师和学生事物应该是如何的。老师们要求预先制定干预措施，以帮助他们为不太投入或挣扎的学生提供支持。其中一位老师甚至建议将人工智能功能整合到CADA中，以提高CADA的有效性。

4.2 RQ2。我们如何设计和实施满足教师教学需求和期望的LA仪表板?

为了回答RQ2，我们分析了教师和研究人员自己的经验和思考。分析得出的一系列结论可以概括为两个主题(图5):设计和实现。

从对教师访谈和研究者经验的专题分析中得出的主题(RQ2)

4.2.1 主题1:设计考虑

该主题回答了RQ2，该主题旨在探索研究人员如何设计和实施满足教师教学需求和期望的LA仪表板。

代理:“代理”主题反映了教师们如何表达设计具有高度灵活性的LA工具的需求，以便他们可以定制这些工具以获得他们所需的反馈。大多数教师反对设计带有严格指导方针的仪表板。“我认为严格的指导是行不通的，因为老师们，包括我自己，都有不同的教学方法和计划”(T2IT1)。另一位教师在为教师设计LA仪表盘时强调了代理的价值:“我认为，作为一名研究人员，重要的是不要陈述应该用工具做什么，而是提供教师可以选择的选项，这是赋予他们代理的一种方式”(T3IT2)。另一个人补充道:“如果有一种方法可以让老师编辑你希望学生在课程结束时的理想状态，并且这个工具有助于说明这一过程，那将是非常重要的。”

教师在整个设计过程中的参与:许多LA系统的一个关键问题是，他们的设计遵循自上而下的过程，研究人员和开发人员在不涉及目标用户的情况下做出决策(Dollinger & Lodge, 2018)。我们设计CADA的动力来自于老师在问题识别阶段提到的挑战，以及老师在不同迭代过程中对早期原型的反馈。因此，老师们对他们在仪表盘设计中的参与表示满意:“我记得你为第一个版本面试了我两次，我很惊讶地看到这个界面的改进版本，我给出的一些反馈被考虑到新的设计中”(T5IT2)。

集成用户说明以支持数据素养

虽然老师们普遍对仪表板的界面感到满意，但他们表示需要明确的说明来指导他们使用仪表板。“我认为有视频教程和截图来指导老师会很有帮助。”(T5IT2)这指出了数据素养的问题，这已经在洛杉矶文献中讨论过(Kaliisa et al.， 2021a)。换句话说，为了支持广泛采用LA工具，特别是在教师等非数据专家中，这些工具需要设计具有用户友好的说明，因为教师可能缺乏数据素养技能和如何利用这些数据的情境化支持。

道德和隐私作为设计要求

为了将CADA整合到干预课程中，我们寻求了大学法律团队和学习管理部门的许可，因为为了在我们大学的Canvas中实施新的插件，需要遵守管理个人信息的各种隐私和道德要求，例如法律依据，安全的数据存储和正确的访问权限。此外，鉴于教育的数据化和监控日益增加，以及对隐私和道德的普遍关注，我们发现教师在确信相关的隐私和道德考虑得到满足后，对使用仪表板没有任何抵制。

4.2.2 主题2:实现方面的考虑

从小事做起

教师们强调的一个关键实施考虑因素是，在扩大干预措施之前，需要用较少的教师进行案例研究。在最初的试点阶段，作为研究人员，我们开始只与两位教师合作，他们后来通过向其他教师推荐仪表板来充当传播者和大使。一位老师赞扬了我们在这项研究中使用的方法，他说:“从几个老师开始，然后再转向其他老师，以获得一些动力，这是非常聪明的……少数老师会让其他人知道这个工具是如何工作的，这就是你已经做过的。”

有限公司在双向中学习分析和学习设计的本质

老师们指出需要考虑LA工具和他们的学习设计实践之间的联系。一些人认为，当研究人员打算引入诸如仪表板之类的LA工具时，他们需要计划并与教师合作，以确保这些工具与预期的课程设计实践保持一致。一位老师评论道:“对于老师来说，提前意识到这个工具如何在他们自己的设计过程中发挥作用是很重要的。”这使得教师更容易将工具嵌入到自己的教学中。这一点在参与实施《中华人民共和国民法典》的个案研究中得到了证明;老师们重新设计了课程的一些元素，以深入了解课程的特定部分，并收集相关的LA。当被问及该工具的未来用途时，一位老师回答说:“我想我还想再次使用这个工具，但我必须对课程做一些改变，以允许更多的帖子和更好的分析”(T6IT1)。

明确传达价值

访谈的主要主题之一是需要就拟议的LA工具的价值进行明确的沟通，特别是为了改善教师的教学实践。老师们认为，一旦这个工具的价值被很好地传达出来，它的应用就会变得更容易。“我知道让老师们投入是一个问题，但一旦你找到了那些正在设想新事物的老师，他们理解分析工具的价值，那就很容易了”(T3IT2)。由于研究强调该技术的有用性应根据其对实际用户的价值来衡量(Dollinger et al.， 2019)，因此洛杉矶研究人员明确传达仪表板的价值至关重要。

同行的培训

当被问及支持在未来实践中使用CADA的必要条件时，老师们指出培训是一个关键要求。老师们特别建议以小组形式进行培训，以便在实施过程中得到同伴的支持。“我之所以说应该以小组形式进行，是因为老师们总是互相学习，并就利弊提出问题。互动以及人们如何一起思考，也可以为进一步开发LA工具产生有用的想法。”(T3IT2)

下载原文档：https://link.springer.com/content/pdf/10.1007/s10758-022-09598-7.pdf