渡过风暴:有针对性和及时的分析,以支持脱节的学生

案例研究

分钟阅读

分析整个机构的数据,以建立学生参与度的真实图景,并使用有针对性的脚本报告来获得有意义的见解,这对查尔斯特大学的学生留存率产生了重大影响。

伞上有雨,伞下有白云。
图片来源:Sergey Nivens / Shutterstock.com©2022

我们面对的是什么

多年来,学生的流失率、升学率和毕业率一直是政府、大学和更广泛的社区关注的问题。万博体育全站官网在整个高等教育领域,大部分的人员流失发生在第一年的学习中,因此,保留策略通常侧重于学生在大学的第一年。在查尔斯特大学——我们澳大利亚最大的区域性大学——最常见的不及格分数是零不及格,这是给那些没有提交任何评估项目的学生的(见图1)。我们和其他人的研究表明,在大学开始阶段获得零不及格分数与未来糟糕的学业成绩有关脚注1避免这种失败对学生有利,因为他们可以避免在没有学分的课程上积累债务,增加他们在未来课程中成功的机会,并且通过提高进步率对大学有利。第二种通常需要支持的学生群体是那些即将获得40-49%的“差一点”分数的学生。这些学生至少在本学期的一部分时间里都在忙碌,可能只是需要帮助才能越过这条线。

图1所示。在2020年和2021年,整个学院的学士水平单元成绩不及格
柱状图显示了2020年和2021年所有不及格分数在六个范围内的比例。大约27%的不及格分数是零分。超过10%的不及格学生的成绩下降了1%到9%。约8%的不及格分数在10%到19%之间,13%在20%到29%之间,略高于20%在30%到39%之间,略低于20%在40%到49%之间。

我们做了什么

查尔斯特大学留用团队是由两位科学家创立的,他们获得了一个小型教师项目的资金,并将他们的分析技能和对教学的热情结合起来,找出了不投入的学生。像大多数机构一样,查尔斯·斯特开发了一个“风险”模型,但这个模型对刚开始学习的学生来说并不准确,因为他们几乎没有学习信息。不提交早期评估项目可以准确地识别出不投入的学生,并为这些学生提供有针对性的支持,显著提高了开始的进步率。2019年,该项目扩展到整个大学,并对流程进行了自动化和改进,以便将学科协调员的关键学科信息传递给学生外展团队。

留用团队创建了一个数据驱动的模型来识别和支持大学第一年的学生。数据分析来自整个机构,以建立学生参与的真实情况,包括评估提交,LMS活动和实时注册数据。该团队采用两种主要策略:一种是早期干预,针对的是不投入的学生;另一种是嵌入式导师计划,针对的是投入但努力学习的学生。学生在本科开始学期有两个目标:

  • 在为期14周的学期的第3周和第4周进行早期干预,为没有参与学习的学生提供有针对性的外展支持。这项工作支持那些没有提交早期评估项目或LMS活动较低并且正在接受零不及格的学生。
  • 在选定的评估项目之前,可以使用嵌入式导师草稿评估支持。此外,那些在早期评估中表现不佳的学生会主动联系并鼓励他们预约导师的时间。这项工作支持那些正在接受“差一点”不及格的学生。

早期干预

早期干预项目使用学习分析和不提交早期评估项目来识别在关键科目上参与度低的学生。随后,学生外展团队会联系这些学生,并根据他们的情况提供支持。这种支持可以包括学术支持服务的指导,关于为未完成的作业寻求延期的信息,或者减少学术负担的选择。这种干预非常具有时间敏感性。学生必须在第4周结束前做出关于学习的决定,以避免科目债务的累积,并且必须在科目上花费足够的时间来显示一些学术投入,最好是通过提交评估项目。脚注2更复杂的是,该程序必须在学术课程的前几周考虑到数据环境的流动性。学生们换了又换了科目,评估截止日期变化不定,考试延期,每个人之间的沟通都是通过多种渠道进行的。

这些因素对使用自动化来扩展这样一个项目构成了一个关键的限制:教授这些科目的学者必须留在系统中。保留小组发现,大约四分之一错过了早期评估项目的学生有延期,并与教师进行了沟通。这些数据不能可靠地存储在一个中心位置。因此,项目的扩展涉及到增加与教师的交流,而不是增加自动化。定制的基于web的表单(如图2左侧所示)有助于减少在短时间内与众多学者进行通信的摩擦,同时引出关键的上下文信息,如单个扩展或向班级发送消息。

图2。为外展呼叫者生成数据摘要,结合来自学术(橙色)和存储表(绿色)的数据
图表分为两部分。左侧列出了一个作业(这是一个论文问题),然后列出了课程中的学生,可以选择哪些学生将由外展团队联系,并为列表中的每个学生添加评论。右侧显示了与学生联系的外展呼叫者可用的信息。这些信息包括所讨论的作业、课程的一些上下文数据、历史上有多少学生通过了这门课程,以及在图左侧描述的应用程序中输入的关于特定学生的任何评论。

我们早期干预系统的另一个关键考虑是双重的:谁是最终用户,他们如何被包括在设计过程中?计划中的干预是给学生打个电话,所以我们的关键终端用户就是打电话的人。在以人为中心的学习分析应用中,外展团队的呼叫者当然不是一个常见的利益相关者,但为了提高与学生的对话质量,进而提高干预的效果,他们是一个重要的声音。脚注3.通过迭代设计过程和与外展来电者的协商,设计了一个简约的数据摘要,以最好地帮助来电者与学生进行有意义的对话(如图2右侧所示)。这允许打破孤岛,并与学生支持分享课堂上实际发生的信息。设计过程中出现了几个关键问题:

  • 学生的情况有多严重?打电话的人需要找到合适的谈话语气。
  • 这些数据有多“新鲜”?呼叫者需要能够处理诸如“但是我昨晚提交了作业”之类的响应,并在不稳定的情况下提供适当的数据。
  • 统计语言能否在对话中变得更有用——例如,“10名在校学生中,有8名不及格”而不是“80%不及格”?

数据摘要支持的改善对话的轶事证据是非常积极的。此外,那些与外展呼叫团队进行对话的学生在该会话中获得零不及格分数的风险要低得多(见图3),尽管这在一定程度上是由于高度不参与的学生不太可能接听大学打来的电话。

图3。风险学生的整体学业成绩,通过他们是否与外传电话通话
一个100%的堆叠条形图,显示学业成绩(退学,及格,非零不及格,零不及格),根据学生是否与外展团队交谈进行划分。在与外联小组交谈的人中,约15%的人没有不及格,约20%的人没有不及格,约35%的人通过了考试,约30%的人退出了考试。在那些没有与外展团队交谈的人中,约23%的人没有失败,约13%的人没有失败,约24%的人通过了,约40%的人退出了。

嵌入式导师草案评估支持

有可能在评估任务中表现不佳的学生,或者只是不投入的学生,通常不知道他们在大学里可以获得的支持服务。作为回应,留校小组采取了一种有针对性的方法来识别有可能挂科的学生,并为他们联系一名嵌入式导师。在2022年第一学期,嵌入式导师草案评估支持在22个一年级科目中可用,大约50%的本科新生至少注册了一个有嵌入式导师的科目。

留用小组与科目协调员合作,确定在早期评估项目中表现不佳或在学期中表现出脱离参与迹象的学生。在2022年的第一学期,512名学生被确定为有风险,并由学生外展小组联系。在这些学生中,有77人在2021年考试不及格后重新开始学习,72人获得了延期,363人在之前的考试中不及格。

留校小组与外联小组密切合作,外联小组可以直接向导师预订学生,并通过短信和电子邮件提供链接,并直接链接到在线预订页面。访问该链接的学生将被带到一个专门针对该主题的页面,并可以通过Zoom在线预订一对一的辅导课程。导师具有特定学科的内容知识,通常由学科协调员招聘。嵌入式导师能够就学生如何改进他们的评估以达到及格分数提供建议。这种前馈可以让学生在提交之前改进评估。

在这次联系之后,136名学生预约了一位导师,这些学生中,除了7名学生外,其余的学生直到课程结束都在LMS中活跃。这种模式已被证明可以使学生的一门学科的累计分数提高6个百分点。这两个项目都对学生留存率产生了重大影响。如果与外展团队的成员交谈,被认定为不投入的学生的保留率会高出6个百分点(他们会继续进入第二年)。在有嵌入式导师的科目中,参加导师会议的学生的保留率比没有参加的学生高13个百分点。

我们学到了什么

学习并不总是晴朗的天空和阳光,作为教育者,我们必须时刻关注困扰学生的风暴,并帮助他们度过难关。一个小而关键的动作,比如一个电话或个人辅导会议,可能意味着成功与失败的区别,也可以帮助学生感到被支持。

  • 学习分析可以用来预测学生参与的模式。然而,当使用以人为中心的方法,包括教师提供的信息来指导真实的对话时,分析是最有效的。
  • 早期识别不投入的学生和外展支持对减少零不及格成绩的数量是有效的。对话成功的学生也更有可能通过一门课程并继续他们第二年的学习。
  • 以协商的形式提供额外的支持嵌入式导师提供了所需的支持帮助“差一点”的学生过线。第一年是我们确定影响最大的潜力的时候,遇到嵌入式导师的学生更有可能继续进入大学的第二年。
  • 沟通是影响整个机构的关键。打破部门和学术人员之间的隔阂对于及时和有意义的干预至关重要。在创建这个项目时,与包括教师、大学领导、部门员工和数据管理员在内的各种利益相关者建立关系至关重要。

笔记

  1. 凯利·林登,尼尔·范德·普莱格和本·希克斯,《捉鬼敢死队:使用学习分析和早期评估设计来识别和支持幽灵学生》第38届教育技术在高等教育中的应用创新、实践与研究国际会议,新英格兰大学,阿米代尔,澳大利亚,11月29 - 12月1日,2021:54-59;Bret Stephenson, Beni Cakitaki和Michael Luckman,“幽灵学生”在公平群体中的失败:对非参与入学的理解”国家高等教育学生平等中心,2021年3月。回到正文的脚注1。
  2. 林登,范德普莱格和希克斯,“捉鬼敢死队”。回到正文的脚注2。
  3. 西蒙·白金汉·沈,丽贝卡·弗格森,罗伯托·马丁内斯-马尔多纳多,“以人为本的学习分析”学习分析杂志6,不。2(2019): 1-9。回到正文的脚注3。

凯利林登是查尔斯特大学学生成功部门的高级保留率主管。

本•希克斯是查尔斯特大学学生成功部门留用团队的数据科学家。

莎拉Teakel是查尔斯特大学嵌入式导师学术协调员。

©2022 Kelly Linden, Ben Hicks和Sarah Teakel。本作品的文本是根据a知识共享4.0国际许可协议。