【CNMO新闻】人类的眼部运动往往包含了非常丰富的信息，自发眨眼次数、瞳孔大小以及注视方向除了能够反映人的注意力方向和个性等内容外，还可以用于诊断帕金森和阿尔兹海默症等。
受此前的研究启发，日本奈良先端科学技术学院的研究者在最新发表的论文中介绍了一种能够通过识别人类程序员的眼部运动来纠正Bug、打补丁和撰写评论的AI架构。
通过跟踪眼部运动纠正Bug
研究者们写道：“在过去的几十年里我们对于人类视觉注意力的位置所反映出的信息有了非常多的了解，而这些都来自于对眼部运动数据的研究，我们都知道程序员使用注意力策略来节省程序理解和维护的时间，例如，一个有经验的程序员会将注意力放在程序的信息部分以及源代码的关键部分。学习程序员的眼部运动的数据可以让AI了解程序员的注意力策略。”
研究团队提出了依靠模仿学习的新方法，也就是AI借助人类的演示来学习复杂任务。在这个案例中，AI是一个由行为复刻（一种常用于机器人和自然语言处理的算法）训练而成的模型。代码片段和编程环境可以被看成是一系列密码或者口令，而AI会模仿程序员的视觉注意力并关注特定的口令集合。从这个角度看，它们能够执行特定的任务。
研究团队提出的新AI架构主要由两个神经网络组成，一个用于编码特定代码片段上下文背景的卷积神经网络（RNN），以及一个专门处理该RNN生成的编码数据并预测下一段口令的解码器（同样是RNN）。研究者们明白他们的方法需要准备大量的人类演示数据，因此他们又提出使用一个学习了专家级演示而不仅仅是模仿行为，并且还能给出借助脑电图读取来补充视觉注意力数据的生成对抗网络。但是，他们认为在得到了开发环境补充数据的情况下，该架构可能会提升AI在一系列软件开发任务中的表现。
论文作者写道：“婴儿可以通过父母的演示学到很多东西而无需语言解释，因为演示本身能够展现出比语言描述更多的信息。到目前为止，研究者们研究开发眼部运动并将其转化为人们能够理解的数字和描述，但是这一转化过程产生了大量的信息流失，我们相信基于行为学习的AI可以在尽可能减少信息流失的同时充分利用有价值的信息。”
加入收藏
