如何知道一个人工智能系统是否会强大到构成了安全隐患，在没有仔细监督的情况下不应该投放使用?
对于试图对人工智能设置监管框架的监管机构来说，这在很大程度上是关于算术的问题。具体来说，现在在每秒10的26次方浮点运算（FLOPS）上训练的AI模型必须向美国政府报告，并且很快可能会在加利福尼亚州触发更严格的要求。
对一些立法者和AI安全倡导者来说，它标志着一种计算能力的水平，这种能力可能使快速发展的AI技术能够创建或扩散大规模杀伤性武器，或者进行灾难性的网络攻击。
制定此类法规的人承认，要区分当今性能最高的生成式AI系统(主要由Anthropic、谷歌、Meta平台和ChatGPT制造商OpenAI等加州公司制造)与可能更强大的下一代AI系统，这些法规并不是一个完美的起点。
批评者指责这些阈值是武断的——是政府试图规范计算的尝试。
“10的26次方浮点运算，”风险投资家本·霍罗维茨今年夏天在一个播客上说。“嗯，如果这就是你需要的模型的大小，比如，用来治愈癌症呢？”
去年由美国拜登总统签署的行政命令依赖于这个阈值。加利福尼亚州新通过的AI安全立法也是如此——州长加文·纽森必须在9月30日之前签署成为法律或否决。加利福尼亚增加了第二个度量标准：受监管的AI模型的建造成本还必须至少为1亿美元。
跟随拜登的脚步，欧盟的全面AI法案也衡量每秒浮点运算次数，或FLOPS，但将标准设定为10的25次方，低了10倍。这涵盖了一些已经在运行的AI系统。中国政府也在考虑测量计算能力，以确定哪些AI系统需要安全保障。
没有公开可用的模型达到更高的加利福尼亚阈值，尽管很可能一些公司已经开始构建它们。如果是这样，它们应该与美国政府分享某些细节和安全预防措施。
AI研究人员仍在辩论如何最好地评估最新生成型AI技术的能力，以及它与人类智能的比较。有一些测试通过解决谜题、逻辑推理或预测文本将如何迅速准确地回答一个人的聊天机器人查询来判断AI。这些测量有助于评估AI工具对特定任务的有用性，但没有办法轻易知道哪一个具有广泛的能力，能够构成对人类的威胁。
“这种计算，这个FLOP数字，根据普遍共识，是我们在这方面拥有的最好的东西，”物理学家安东尼·阿吉雷（Anthony Aguirre）说，他是生命未来研究所的执行董事，该研究所一直倡导通过加利福尼亚州参议院法案1047和其他全球AI安全规则。
浮点运算可能听起来很花哨，“但它实际上只是被加在一起或乘在一起的数字，”这是评估AI模型能力和风险最简单的方法之一，阿吉雷说。
“这些东西大多数都在做的就是将大表格的数字相乘在一起。”他说，“你可以想象在计算器中输入几个数字，然后加或乘。这就是它所做的——一万亿次或一百万万亿次。”
然而，对于一些科技领袖来说，这是一个过于简单和硬编码的指标。计算机科学家Sara Hooker在7月的一篇论文中争辩说，使用这样的指标作为风险的代理没有“明确的科学支持”，她领导着AI公司Cohere的非营利研究部门。
“目前实施的计算阈值是短视的，可能无法减轻风险。”她写道。
风险投资家霍罗维茨和他的商业伙伴马克·安德里森（Marc Andreessen），这两位有影响力的硅谷投资公司安德里森·霍罗威茨的创始人，也抨击了拜登政府和加利福尼亚AI法规立法者，他们认为这些法规可能会扼杀新兴的AI初创产业。
对于霍罗维茨来说，限制“你被允许做多少计算”反映了一个错误的信念，即只有少数大公司会制造出最有能力的模型，你可以在它们面前放置“火焰圈，它们会跳过去，这没关系。”
针对这些批评，加利福尼亚州立法的发起人今年夏天向安德里森·霍罗威茨寄了一封信，为该法案辩护，包括其监管阈值。
旧金山州参议员Scott Wiener写道，以超过10的26次方浮点运算进行监管是“一个明确的方法，可以将我们所知道的许多模型排除在安全测试要求之外，根据目前的证据，这些模型缺乏造成严重伤害的能力。” Wiener说，已经公开发布的现有模型“已经经过了高度危险能力的测试，不包括在该法案内。”
Wiener和拜登的行政命令都把这个度量标准视为一个临时的，以后可能会调整。
在AI公司Hugging Face从事政策研究的Yacine Jernite表示，FLOPS度量标准是出于“善意”中出现的，早于去年的拜登命令，但已经开始变得过时。AI开发者正在用更小的模型做更多的事情，这些模型需要的计算能力更少，而更广泛使用的AI产品的潜在危害不会触发加利福尼亚州提议的审查。
“有些模型将对社会产生巨大的影响，这些模型应该被要求达到更高的标准，而其他一些模型更具探索性，对它们进行同样的认证过程可能没有意义，” Jernite说。
阿吉雷表示，监管机构保持灵活是有意义的，但他将对FLOPS阈值的一些反对意见描述为试图避免对越来越能干的AI系统进行任何监管的尝试。
“这一切都发生得非常快，”阿吉雷说。“我认为有一个合理的批评是，这些阈值并没有完全捕捉到我们想要捕捉的东西。但我认为，从这一点出发，‘好吧，我们就不应该做任何事情，只能交叉手指，期待最好的结果’，这是一个糟糕的论点。”
