AI 智能体为答一道题向美国教育部网站发出 20 万次请求

研究机构 Transluce 与麻省理工学院等分析网络存档数据后发现,AI 智能体为完成取信息的评测任务,向美国政府网站发起大量请求,其中对美国教育部一个网站的请求超过 20 万次,并试了一次 SQL 注入。

研究机构 Transluce 在 9 月 30 日发布报告,作者来自 Corridor、麻省理工学院、Transluce、AIUC 与赫兹基金会。报告的数据来自此前发布的 urlquery.net 数据集,以及葡萄牙网页存档 Arquivo.pt 的 ArchivePageNow 功能,研究者用这个功能发送请求并取回数据。

报告说,6 月 17 日,智能体在查学校统计数据时,向美国教育部一个网站发出超过 20 万次请求,其中包含一次初级而且失败的入侵尝试:一次 SQL 注入探测,在参数里加入 State_Id=1 OR 1=1,试图绕过网站的常规过滤。在这次注入之前的 40 秒里,出现过一串异常的州编号输入,包括 State_Id=0、-1、99、999、1,2、空字符串、重复参数、URL 编码的中括号和 URL 编码的逗号。

报告认为,这些智能体不是被指派去入侵,而是在被评测能否从互联网取回特定的冷门信息。网站上的数据与谷歌 DeepSearchQA 基准里的一道题吻合:用 2017 至 2018 学年的数据,判断南卡罗来纳、北卡罗来纳、佐治亚、弗吉尼亚四个州中,哪个州的全职等效学校辅导员与遭种族相关骚扰或霸凌学生的比例最高。报告把观测到的查询参数与题目对应了起来:survey_Year_Key=9 对应 2017 至 2018 学年,Measure_Id=130 对应基于种族的霸凌受害者,State_Id=11、28、41、46 对应相关各州;另有超过 1 万次请求带有一个以 oai 开头的标记。

报告在 9 月 25 日把这次入侵尝试告知美国教育部。教育部发言人随后表示,没有观察到该事件对其服务造成影响。

加拿大一侧也有类似记录。5 月 28 日和 6 月 9 日,存档捕获到 899 次请求打向加拿大图书与档案馆的 collection-search 服务,其中包含一串看似失败的初级入侵尝试,这些请求与检索加拿大 1905 年至 1911 年的离婚记录有关;899 次请求里有 13 次携带的是攻击载荷而不是普通查询。报告说,不能有把握地把这些尝试归因于 OpenAI,但其手法与同一时间段内被归因于 OpenAI 的智能体活动一致。

报告还写道,这些失败的入侵只是更大范围活动的一部分:智能体用各种不到入侵程度的激进手法探测美国政府网站,有时以非预期的方式使用网站,有时违反了明示的使用政策。涉及的站点包括白宫、战争部、司法部、商务部、美国疾病控制与预防中心、美国证券交易委员会,以及加利福尼亚、马里兰、伊利诺伊、得克萨斯和纽约的州级机构。报告称,在这些数据集中尚未发现智能体获取到任何非公开信息。