Statcheck:当机器人“纠正”学术时

经过:凯特·克斯赫纳

Statcheck:当机器人“纠正”学者时“width=
Statcheck:当机器人“纠正”学术时Jason Stang / Getty Images

你知道同事们总是徘徊在你的桌子上,大声地告诉你他们在你上班的报告中发现了一个错误吗?一方面,这很好 - 不需要老板看到你仍然混在一起“他们/那里”。另一方面......什么痛苦。

在过去的几个月里,科学家们一直感受到同样的混合情绪statcheck.是一项新的应用程序,扫描了错误的错误,已经揭幕过。就像“乐于助人”的同事一样,它是揭幕模式突破了一些神经。

广告

让我们从究竟开始究竟是什么。Sam Schwarzkopf是伦敦大学学院的神经科学家,他在博客神经元术中都会将其与统计数据的拼写方式。“STATCHECK标记的大多数错误都非常可能是无关紧要的,”他通过电子邮件解释。“所以看到这个错误有点痛苦,但它并没有真正伤害。”例如,拼写错误。很高兴抓住,但不可追捕。

然而,当STATCHERCK标记错误时,“潜在地改变了这一结论”,类似于寻找“将改变句子的含义”的错字,Schwarzkopf说。但这并不意味着这些统计错误肯定会改变结果。

“我正在下注,大多数此类错误可能是错字,并且实际上并没有改变得出结论,”Schwarzkopf说。“在许多情况下,您可以从结果中讲述数字或图表,结论是正确的,并且统计测试只是错误预报。”

当然,存在实际错误的情况下,这意味着实际计算出错,或者这些数字是欺诈性的。无论哪种方式,它都会涉及实际的手动,老式检查。

所以听起来很棒,对吧?在提交之前进行学术检查他们的研究的方法,并帮助努力更准确的结果。但The的大卷程是更戏剧性的:有50,000篇关于Pubpeer的论文(一个允许研究人员分享和讨论发布文件的在线平台)是使用STATCHECK进行分析的,因此与自动生成的报告标记 - 即使报告只是说没有错误。

不是每个人很激动他们的工作分析并评论了未经请求的,特别是在一个论坛上的论坛中,这通常意味着发现错误。旗帜注意到这篇论文已经被斯坦克扫描可能导致误解,换句话说。

重要的是要记住,斯坦替斯绝不是一个完美的人工智能。“因为STATCHECK是一种自动算法,因此它永远不会像手动检查一样准确,”MichéleNuijten通过电子邮件说。nuijten是一个博士学位。蒂尔堡大学的学生在荷兰,并帮助创造了泰坦克。“因为错误的错误,你总是必须手动检查任何不一致的Statcheck标记,在得出强烈的结论之前。”

兼任nuijten和克里斯Hartgerink(对PubPeer论文进行扫描和报告的研究人员),statcheck显然已经做到了虫子和错误.statcheck手册还包括statcheck的详细列表不能做

这又回到了施瓦茨科普夫所指出的:在统计中发现错误是一个很好的提醒,但它不一定能说明数据的故事。本文报告认为八篇论文中的一个包含错误五月影响了统计结论,这可能会导致我们所有人恐慌,科学是错误的,上有下,没有人是值得信任的。但Statcheck没有告诉我们有多少错误实际上影响了研究的结论.它只是标记出潜在的严重不一致。

Schwarzkopf注意我们不需要恐慌,所有这些错误都意味着错误的结论。“八个错误中的这一点甚至可能是无关紧要的,因为它们是由于拼写错误而不是由于结果的实际错误计算,”他说。“发现这些错误绝对是好的,但他们不会使研究结果的解释无效。区分错误是由于拼写错误或真正的错误扫描的唯一方法是查看数据本身并再现统计数据。”

换句话说,我们需要确保作者和出版物正在出版之前检查(然后再检查)统计数据,并且 - 也是如此复制结果。

虽然一些科学家在Pubpeer上没有兴奋,但在Pubpeer上没有兴奋,但是说研究人员会发现它能够巩固使用Thatcheck技术来检查自己的工作,他们现在可以轻松做到这一点http://statcheck.io.

广告

广告

加载……