开源AI与机器学习工具的安全漏洞

关键要点

• Protect AI的huntr漏洞赏金计划披露了近三十个开源AI和机器学习工具的安全缺陷，其中包括三项关键漏洞。
• 两项漏洞位于Lunary AI开发者工具包中，另一项则位于名为Chuanhu Chat的ChatGPT图形用户界面（GUI）。
• 报告还包括18个高严重性漏洞，涵盖拒绝服务（DoS）和远程代码执行（RCE）等问题。
• Protect AI强调，这些开源工具在机器学习模型构建中存在独特的安全威胁。

多个关键漏洞暴露

Protect AI的研究人员Dan McInerney和MarcelloSalvati表示：“通过我们的研究以及huntr社区的努力，我们发现用于构建AI应用程序的机器学习模型的供应链工具存在独特的安全威胁。”报告指出，使用这些工具的开发者每月下载次数达数千次。

报告还突出了LocalAI、LoLLMs、LangChain.js等平台中的漏洞。

Lunary AI工具包漏洞：威胁用户认证与权限

报告中披露的两项严重漏洞位于用于大语言模型（LLM）聊天机器人的Lunary AI工具包中。根据，这个开源工具包被“2500多名来自顶尖公司的AI开发者”所使用。

这些漏洞被追踪为CVE-2024-7474和CVE-2024-7475，均具有9.1的CVSS评分。

• CVE-2024-7474 是一种不安全的直接对象引用（IDOR）漏洞，攻击者如果知道其他用户的用户ID，可以在调用相关API端点时用受害者的用户ID替换自己的用户ID，从而查看或删除其他用户的记录。

• CVE-2024-7475 也是由于访问控制不当，使得攻击者可以利用特制的POST请求恶意更新SAML配置，从而操控认证流程和进行欺诈性登录。

Lunary已经通过升级到版本1.3.4来修复这两个漏洞。

Chuanhu Chat与LocalAI漏洞导致RCE与数据泄露

在Protect AI的报告中，另一个被披露的关键漏洞是ChuanhuChat的用户上传功能的路径遍历漏洞，允许远程代码执行、任意目录创建，以及CSV文件信息泄露。该漏洞被追踪为CVE-2024-5982，CVSS评分为9.1。

可通过创建一个名称中包含绝对路径的用户，再通过ChuanhuChat接口上传包含cron作业配置的文件来达到RCE。修改后的用户请求还可以通过“get_history_names”功能创建任意目录，并通过“load_template”功能泄露CSV文件的首列。

Chuanhu Chat在GitHub上获得了超过15,200个星标和2,300个分支。CVE-2024-5982已在中修复。

LocalAI是另一款在GitHub上广受欢迎的开源AI项目，拥有超过24,000个星标和1,900个分支。huntr社区发现了该平台的多个漏洞，包括一个被追踪为CVE-2024-6983的RCE漏洞和一个追踪为CVE-2024-7010的时间攻击漏洞。

• CVE-2024-6983 的CVSS评分为8.8，允许攻击者上传具有恶意配置文件的URI，指向一个攻击者控制的恶意二进制文件，该文件在目标系统处理配置文件时被执行。
• CVE-2024-7010 的CVSS评分为7.5，可能导致时间攻击，这是一种通过测量服务器处理API密钥的响应时间进行的侧信道攻击。攻击者可以设置脚本发送多个API密钥猜测并记录每个密钥的响应时间，从而推测正确的密钥以获得未经授权的访问。

CVE-2024-6983和CVE-2024-