提示:点击“无忧教育AIL“↑免费订阅
近期我们有收到不少考生反映,有来自澳洲的,有来自国内的,也有来自新西兰的考生,口语的考试中突然成绩下滑,主要体现在发音的分数为最低分10分。
这个时候网上可以看到各种流言和说法,有些号称自己掌握了评分原则的变化,要大家分享帖子获取信息;有些说要集中向Pearson进行抗议,要读者加群讨论,等等。
实际的情况是,所谓的评分变化信息,说白了就是两条:一说官方Score Guide换了,二是给出一些很花哨的电脑分析图,然后把一些发音规则的小知识过一遍。剩下的基本都是划水。
1
关于Score Guide
官方的确在2017年8月更新了Score Guide。但是改变的基本只有外观,除了极个别疑似编辑笔误打错的部分(比如71页写作的Content Score莫名地从3分变成了2分)以及修复了之前版本PDF中不能使用的链接(这个还是比较有意义的,有三个分数档的DI音频,大家可以听一下作为参考)之外,并没有太多有意义的变动。用Score Guide来说评分标准变动,其实是说不通的。
2
其次是关于音波分析图
这个乍一看似乎很有道理,但其实也得不出什么有意义的结论。所以是音波分析系统换了,导致发音变低吗?那么之前的系统和之后的系统有什么区别呢?是用了不同的音波分析程序吗?还是参数调整了呢?调整了哪些参数呢?有学生去听了那些所谓的发音标准变化的公开课,结果发现也都是在划水。说白了,也就是一些不负责任的机构借着这个由头来趁机刷一把存在感。
另外关于口语发音0分的问题,申请聚众复议不是很好的解决方案。这只是一种情绪发泄,不是解决问题的办法。
目前来说,PTE除了5月8日的成绩单因为加入新题,系统产生问题影响了所有的考生,从而进行了批量回收之外,没有其他改动成绩单的历史记录。目前我们有统计过的各种复议,除了多交$125美金之外,成绩根本没有变化,因此不会有任何价值。而且如果5月8日的改分事件中,PTE官方是主动回收修订了成绩,也不需要提出并支付复议的费用。
当然,作为机构,我们肯定需要为考生们找一个说法,明明参加了考试了,检测录音的时候也都是正常的,为啥最终发音分,流利度分数都没有呢?为此我们代给为考生也向PTE进行了询问,官方已经明确回复需要咨询Test Development Team(邮件内容附在下面)。我们依然在等候官方的说明,相信也会给大家一个清楚的说法。
目前来看,PTE的评分原则是一个“沙盒”,换言之我们能看到它的外面的边界,以及可以直观看到成绩的反馈,但是并不知道里面具体是怎样一回事。而且毕竟人脑不是电脑,即使知道原理,也不可能用电脑的方式进行思维。这就好比,我们根本就无法用一条函数来从大脑里生成一个句子的发音,无论这个函数本身有多么正确。从目前的教学来说,我们所能够知道的,只有几点,那就是高分的考生的声线和语调是怎样的,官方声明的打分原则是什么,以及语言学中总结出的常用规律。
几张高分的成绩单或许能够说明一些考试的特点,但要说真正完全“掌握”评分标准,是非常困难的。所以各位考生在选择培训课程的时候,也需要理性的考虑到,那些听起来太美好的说法(比如三天口语提高20分)多半是too good to be true。
今天我们希望和大家分析的,是关于PTE口语评分的真实信息,以及所谓的评分变化是怎样一回事。大家可以当做一个英语阅读的练习,遍理解遍看我们的分析。
以下内容节选自Pearson Test of English Academic: Automated Scoring
The spoken portion of PTE Academic is automatically scored using Pearson’s Ordinate technology. Ordinate technology is the result of years of research in speech recognition, statistical modeling, linguistics and testing theory. The technology uses a proprietary speech processing system that is specifically designed to analyze and automatically score speech from native and non-native speakers of English. In addition to recognizing words, the system locates and evaluates relevant segments, syllables and phrases in speech and then uses statistical modeling technologies to assess spoken performance.
PTE使用的评分系统是Ordinate Technology(现在主要用于Versant),这里官方给出了几个重要的说明:
首先PTE的口语评分系统是会识别关键词的,而不是单纯的音波分析。
其次,系统会分析relevant segments, syllables and phrases,也就是截取部分的信息,而不是全篇所有的内容。分析的要点是局部的细节,包括音节(重音)以及词组意群,然后综合打分。
(举个直白的例子:在DI中,This bar chart is about … 中,系统会优先判定bar chart的发音是否合理,至于this的发音是否不饱满变成the,语法用的is还是was之类,都不是主要的考虑因素。)
To understand the way that the Ordinate technology is “taught” to score spoken language, think about a person being trained by an expert rater to score speech samples during interviews. First, the expert rater gives the trainee rater a list of things to listen for in the test taker’s speech during the interview. Then the trainee observes the expert testing numerous test takers, and, after each interview, the expert shares with the trainee the score he or she gave the test taker and the characteristics of the performance that led to that score. Over several dozen interviews, the trainee’s scores begin to look very similar to the expert rater’s scores.
PTE的打分引擎其实做的事情是通过数学建模来“模仿”已有考官的打分模式。换言之,系统打分的基准点其实取决于参照的Sample中考官打分的方式。
系统会纳入大量的原始评分数据,并且对数据进行整体分析,从而得出打分规律。我们无法成为电脑,但是可以了解PTE的考官最初采用的打分模式,这样会更加容易理解这个考试的原则。
比如说,为什么在PTE早期的一段时间内,语速快的考生,哪怕发音本身有所模糊,也可以获得非常高的Fluency的分数。因为早期的Sample里面,还没有太多的应试型的答案,通常一个英语更加好的考生语速会自然快一些。根据这个原则,自然就可以逆向去利用。
不过由于PTE的系统在不断地纳入更多的Sample,渐渐也就包括了那些应试中虽然语速很快,但完全发音走形,从而被考官判定为低分的答案。这些数据的存在,使得纯刷语速的意义越来越低。
Ultimately, one could predict the score the trainee would give a particular test taker based on the score that the expert gave.
This, in effect, is how the machine is trained to score only instead of one expert “teaching” the trainee, there are many expert scorers feeding scores into the system for each response, and instead of a few dozen test takers, the system is trained on thousands of responses from hundreds of test takers. Furthermore, the machine does not need to be told what features of the speech are important; the relevant features and their relative contributions are statistically extracted from the massive set of data when the system is optimized to predict human scores.
一道题目的打分并不是那么容易的,一般来说系统需要几千份Sample Materials进行分析,然后才能得出一个健全的打分系统。从这个角度来说,PTE的题库更新(尤其是DI/RL等主观题)是一个相对比较缓慢的成熟过程。
这个可以从侧面解释了5月8日的成绩单问题。PTE官方在5月更新了大量的新题,但是与此对应的Sample并没有那么容易获得,因此分数出现了一个很明显的两极分化。之后官方通过召回成绩单的方式修改了分数,并重新将这些内容纳入了Sample中,使得现在的评分系统相对趋向稳定。
While no human listener is likely to be accustomed to more than 100 different foreign accents, the speech processor for PTE Academic has been trained on more than 126 different accents and can deal with all of these accents equally. If the speaker has a very heavy accent and would be assigned a low score by typical human raters, then this test taker will receive a low pronunciation score from the machine. Importantly, the poor pronunciation would not influence the test taker’s grammar or vocabulary scores.
这里有一个关键点:虽然PTE号称口音是可以被接受的,但是实际情况是当PTE的考官认为口音比较重,影响理解的时候,依然会给出一个较低的Pronunciation的分数。
看完了这个文件之后,我们来回答几个问题:
PTE是否能够更改评分标准?
系统变更的概率微乎其微,但是评分标准是可以变更的。这个变更一般来说是一个缓慢的过程,需要系统自然地积累足够多的Sample,从而一点点变得更加完整。
PTE口语发音流利度获得10分是什么情况?
具体的答案我们需要等待官方的回复。有几个猜测仅供大家参考:
首先,是由于硬件的问题(比如话筒位置,比如网络服务区的数据传输等),导致了发音根本没有被系统收进去。这个其实比较好解决。
其次,是由于个人音量不足,导致系统没有“听”到你的答案。这里要说一下,在回放中能听到自己的声音,不等于系统能够分析。主要影响的因素是气流不足,发音力度不够,最终导致元音不够清晰圆满。
最后,也不排除是系统故障,毕竟这次也不是一两个学生,对此,我们不能妄加猜测,也只能等到Pearson官方的明确回复。无忧小雅哥已经联系了Pearson Test of English的Director,一有消息,我们会第一时间更新给大家。
PTE考前冲刺强化班白班
12月4日新班开课
周一&周四 10:30-16:30
两周强化备考PTE
PTE考前全能强化班白班
12月4日新班开课
周一&周四 10:30-16:30
周六 13:00-15:30
强化课程+机经讲解Tutorial
全面解析真题
强化备考PTE
PTE周六/周日/周末全能强化班
12月2日新班开课
四周全能班:
周六或周日 10:30-16:30
共四周20课时
两周强化班:
周六&周日 10:30-16:30
共两周20课时
PTE VIP 1v1课程
10h或20h一对一辅导
针对弱项强化备考
以上所有课程均可获得
澳大利亚语言学院独家整理
最全最走心的机经题库
及独家在线真题模考
专业机房练习权限
刷题讲解班
独家在线真题模考
加考后一对一讲解
发现弱项,强化提高
多种套餐供你选择
详情访问ail.vic.edu.au
选择“全真模考”即可
真题讲解班
12月2日新班开课
多项重点题型
Reorder Paragraphs
Fill in the Blanks
真题详细解析
最全最强的机经题库
金牌名师,满分答案
带你刷题带你飞!
墨尔本
墨尔本PTE小助手
想加入PTE学习群的同学
私信小助手即可~
电话:(03) 9670 8868
邮箱: pte@ail.vic.edu.au
地址:Level 2, 388 Bourke st,
Melbourne, 3000
网站:http://ail.vic.edu.au