Scale AI发布首个大语言模型排行榜 对特定领域的AI模型性能进行排名

摘要：为 OpenAI 和 Nvidia Corp. 等公司提供服务的人工智能训练数据提供商 Scale AI Inc. 今天发布了其首个 SEAL 排行榜的结果。这是一个新的前沿大型语言模型排名系统，它基于私有的、经过策划的和未开发的数据集，目的是对这些模型在生成式人工智能编码、指令跟踪、数学和多语言性等常见使用案例中的能力进行评级。 SEAL 排行榜显示，OpenAI 的 GPT 系列 LLM 在其用于人工智能模型排名的四个初始领域中的三个领域排名第一，Anthropic PBC 广受欢迎的 Claude 3 Opus 在第四个领域排名第一。Google LLC 的 Gemini 模型也表现出色，在其中几个领域与 GPT 模型并列第一。Scale AI表示，它之所以创建SEAL排行榜，是因为现在有数以百计的LLM可供公司使用，而人工智能的表现却缺乏透明度。这些排行榜由 Scale AI 的安全、评估和对齐实验室（Safety, Evaluations, and Alignment Lab）开发，并声称通过拒绝透露其用于评估 LLM 的提示的性质来保持中立性和完整性。该公司指出，虽然也有其他对LLM进行排名的努力，如MLCommons的基准和斯坦福HAI的透明度指数，但其在人工智能训练数据方面的专业知识意味着它在克服人工智能研究人员所面临的一些挑战方面具有独特的优势。例如，Scale AI指出，MLCommon的基准是公开的，因此公司可以对其模型进行专门训练，以准确响应他们使用的提示。SEAL 开发了私有的评估数据集，以保持其排名的完整性，据说其测试是由经过验证的领域专家创建的。此外，所使用的提示和给出的排名都经过仔细评估，以确保其可信度，同时通过公布所使用评估方法的明确解释来确保透明度。Scale AI 表示，在 Scale Coding 领域，每个模型都要在随机选择的提示上与评估中的其他模型进行至少 50 次比较，以确保结果的准确性。编码评估试图评估每个模型生成计算机代码的能力，排行榜显示，OpenAI 的 GPT-4 Turbo Preview 和 GPT-4o 模型与Google的 Gemini 1.5 Pro（I/O 后）并列第一。之所以将它们并列第一，是因为 Scale AI 只声称其评估分数的置信度为 95%，而且前三名之间的差距很小。尽管如此，GPT-4 Turbo Preview 似乎略胜一筹，获得了 1155 分，GPT-4o 以 1144 分位居第二，Gemini 1.5 Pro（Post I/O）获得了 1112 分。在多语言领域，GPT-4o 和 Gemini 1.5 Pro（Post I/O）并列第一，得分分别为 1139 分和 1129 分，GPT-4 Turbo 和 Gemini Pro 1.5（Pre I/O）紧随其后，并列第三。GPT-4o 在"指令跟踪"领域也名列前茅，获得 88.57 分，GPT-4 Turbo Preview 以 87.64 分名列第二。结果表明，Google在这一领域仍需努力，因为 OpenAI 最接近的竞争对手是 Meta Platforms 公司的开源 Llama 3 70b Instruct（得分 85.55）和 Mistral 公司的 Mistral Large Latest LLM（得分 85.34）。最后，Scale AI 测试了 LLM 的数学能力。事实证明，Anthropic 的 Claude 3 Opus 以 95.19 的高分拔得头筹，无可争议地获得了第一名，超过了 95.10 的 GPT-4 Turbo Preview 和 94.85 的 GPT-4o。这些比较很有意思，但似乎还不能说明全部问题，因为有很多备受瞩目的龙8国际娱乐城似乎没有被纳入评估范围。例如，AI21实验室公司的Jurassic和Jamba以及Cohere公司的Aya和Command LLM在所有四项评估中都明显缺席，埃隆-马斯克（Elon Musk）的生成式人工智能初创公司xAI Corp.建立的Grok模型也是如此。好消息是，Scale AI 可能会解决LLM排行榜不完整的问题。该公司表示，它打算每年多次更新排行榜，以确保其与时俱进。它将在"可用时"添加新的前沿模型。此外，它还计划在排行榜上添加新的领域，力争成为最值得信赖的大模型第三方评估机构。 原文：Scale AI发布首个大语言模型排行榜 对特定领域的AI模型性能进行排名

微软DirectSR现在可用于GPU驱动：为DirectX 12游戏提供超分辨率支持

摘要：微软的DirectSR 技术现已推出预览版，可轻松支持 NVIDIA、DLSS、AMD FSR 和 Intel XeSS 等超分辨率技术支持。微软希望通过 DirectSR 实现超级分辨率的轻松集成，现在已支持 AMD FSR、NVIDIA DLSS 和 Intel XeSS。 早在今年 2 月，微软就推出了 DirectSR"DirectX 超级分辨率"技术，旨在让游戏中的超级分辨率升频器集成变得更容易。如今，这项技术终于推出了预览版，并通过 GPU 驱动程序获得了英伟达、AMD 和英特尔等多家厂商的支持。"超分辨率"技术的种类正在迅速增加，因为它已成为提高游戏 FPS 的新手段，同时还能提供类似或更好的图像质量。虽然 GPU 厂商本身正在提供必要的工具和软件堆栈，以确保其技术在游戏中得到更广泛的支持，但每种技术之间仍存在一定的差异。某些游戏可能只使用一种缩放器，而舍弃了其他缩放器；而有些游戏可能同时使用三种缩放技术，但只有一种缩放技术看起来最好。因此，为了克服这些弊端，微软的 DirectSR 作为一个 API 来拯救这一切。据微软称，DirectSR 可通过 GPU 驱动程序获得本机支持，而且还内置了对 GPU 无关变体的支持（在应用程序级别上可用）。首先，DirectSR 将提供对 AMD FSR 2.2 技术的内置支持，同时提供对英伟达 DLSS 和英特尔 XeSS 技术的驱动程序级支持。以下是合作伙伴对 DirectSR 的评价："我们很高兴能与微软合作设计和开发 DirectSR，使开发人员能在所有平台上统一使用超级分辨率技术。我们很高兴 AMD FSR 2.2 能够作为 DirectSR 的内置实现，成为此次预览版的一部分。- AMD GPU 技术和工程软件高级副总裁、首席软件官 Andrej Zdravkovic"英特尔强烈支持微软的DirectSR规范，以及参与创建该规范的合作努力--它简化了游戏开发者的生活，并确保更多的游戏玩家在英特尔GPU上体验到英特尔的XeSS升级技术。"- Alexander Kharlamov，英特尔 GPU 渲染高级总监"NVIDIA DLSS超级分辨率已应用于400多款游戏，并已成为游戏玩家的标准功能。我们很高兴能为开发者提供更多的方法，将 DLSS 引入到下一代游戏中。"- 英伟达™（NVIDIA®）公司 GeForce 平台营销副总裁 Jason Paul微软 DirectSR 将确保我们在未来的游戏中看到更多、更好的超分辨率技术支持。这项技术现在可以通过Agility SDK 1.714.0 预览版获得。你可以在这里（31.0.101.5534）和这里（560.38）的驱动程序中找到最新的英特尔 XeSS 和英伟达 DLSS"DirectSR"驱动程序。 原文：微软DirectSR现在可用于GPU驱动：为DirectX 12游戏提供超分辨率支持

韩国核委员会称两名三星工人受到辐射照射 将调查此次事故

摘要：韩国核安全和安保委员会（NSSC）宣布，5 月 27 日两名员工因暴露于 X 射线而住院，三星公司正在接受调查。据CNBC 报道，这次照射发生在三星器兴芯片工厂，距离首尔以南约 25 英里。 这两名员工是在使用一台用 X 射线对材料进行分析的机器时受到辐射的。NSSC 在其新闻稿中写道，由于手指受到辐射，两人都出现了"异常症状"。该机构称，他们的血液检测结果正常，但计划进行后续检测。这台机器的使用已经暂停，该机构表示下一步准备弄清楚他们到底受到了多少辐射。三星在给 CNBC 的一份声明中称，这些员工"双手意外接触到了 X 射线"。三星还告诉该媒体，公司会支持员工的治疗，并正在与当局合作。同时，国家安保委员会表示，如果发现三星违反了任何安全法律，它将采取进一步措施。这已经不是三星第一次因员工受到辐射而受到关注。2012 年，该公司的一名前员工因癌症而丧生，韩国政府认为这与她在三星一家工厂工作期间接触的辐射和化学物质有关。2015 年，该公司向在其工厂中罹患癌症的工人道歉，并设立了一个基金，对他们以及已故前员工的家属进行赔偿。 原文：韩国核委员会称两名三星工人受到辐射照射 将调查此次事故

Meta称已停止六项政治影响力宣传活动 包括来自以色列和中国的活动

摘要：Meta 公司在今天发布的季度威胁报告中称，该公司打击了其平台上的宣传活动，其中包括利用人工智能影响政治言论，制造某些观点得到更广泛支持的假象。一些宣传活动推崇有关时事的政治叙事，包括来自以色列和伊朗的支持以色列政府的宣传活动。 这些网络利用 Facebook 和 Instagram 账户试图影响世界各地的政治议程。这些活动--其中一些还起源于孟加拉国、中国和克罗地亚--利用虚假账户发帖支持政治运动、宣传虚假新闻机构或评论合法新闻机构的帖子。例如，一个源自中国的网络由几十个 Instagram 和 Facebook 账户、页面和群组组成，被用来针对全球锡克教社区，Meta 说。另一个追踪到以色列的活动使用了 500 多个 Facebook 和 Instagram 账户，冒充当地犹太学生、非裔美国人和"相关"公民，赞扬以色列的军事行动并讨论校园反犹太主义等类型的内容。Meta 写道，这两个网络分享的一些内容很可能是使用人工智能生成工具创建的。Meta发现，中国的活动账户分享了人工智能生成的图片，以色列的活动账户则发布了人工智能生成的评论。报告称，就目前而言，人工智能驱动的影响力活动还不够复杂，无法躲避现有的检测系统。社交媒体平台上经常会发现影响力活动。5 月早些时候，TikTok 称已在其平台上发现并捣毁了十几个此类网络，其中包括一个追踪到中国的网络。相关文章:Facebook最新透明度报告：清理有组织的"跨平台秘密影响力"活动TikTok称今年阻止了十余次协调与操纵政治言论的活动 其中包括来自中国的活动 原文：Meta称已停止六项政治影响力宣传活动 包括来自以色列和中国的活动

日本东电推出新型机器人清理福岛核电站熔化燃料

摘要：2011 年 3 月 11 日，日本东北地区发生强烈地震，随后引发海啸，东京电力（TEPCO）旗下的日本福岛第一核电站遭受灾难，造成 15900 人死亡。50 英尺高的巨浪袭击了核电站，摧毁了为冷却剂循环泵提供动力的柴油发电机，导致三次核熔毁、三次氢气爆炸，并在现场造成大面积放射性污染。 从那时起，东电的操作人员就开始部署机器人，在反应堆建筑内进行探索，并将图像传回给工程师，以降低他们暴露在辐射中的风险。例如，波士顿动力公司（Boston Dynamics）开发的四足机器人 Spot 收集了数据、拍摄了视频、测量了辐射剂量，并收集了碎片样本用于辐射测试。无人机并不适合执行这些任务，因为它们的旋翼会卷起灰尘和碎片，散播受污染的材料。机器人对福岛第一核电站的清理工作至关重要，这些机器进入了人类无法进入的区域，使他们免于暴露在辐射中。现在，东京电力公司正在开始下一阶段的机器人使用：清除融化的燃料。虽然事实证明 Spot 可以帮助完成许多任务，但东京电力很早就知道，清除反应堆建筑内高剂量辐射区域的污染和清除反应堆内的燃料碎片需要一种专门的机器人。执行这些下一阶段任务的日子即将到来，工程师们在拖延了两年之后终于有了一台机器人来完成这项工作。本周，东京电力公司展示了一款装有钳子的机器人，用于从三个受损反应堆中拾取熔化的燃料碎片。在演示中，机器人从一个伸缩管道缓缓下降到一堆碎石前，拾起了一块石头。工作人员将于今年晚些时候在其中一个反应堆中使用该机器人，这是自2011年灾难发生以来，首次尝试从该场址清除熔化燃料污染。约有 880 吨高放射性熔化核燃料仍留在现场。清理人员将在 2 号反应堆的测试中清除不到 3 克的碎片。研究人员希望在东京电力公司继续进行退役工作之前对熔化的燃料碎片进行研究。 原文：日本东电推出新型机器人清理福岛核电站熔化燃料

Mistral发布首个代码生成人工智能模型Codestral 但不可用于商业活动

摘要：由微软支持、估值高达 60 亿美元的法国人工智能初创公司 Mistral发布了首个用于编码的生成式人工智能模型，名为 Codestral。Codestral 与其他代码生成模型一样，旨在帮助开发人员编写代码并与之交互。 Mistral 在一篇博文中解释说，它接受过 80 多种编程语言的训练，包括 Python、Java、C++ 和 JavaScript。Codestral 可以完成编码功能、编写测试和"填充"部分代码，还能用英语回答有关代码库的问题。Mistral 将这种模式描述为"开放"，但这还有待商榷，因为这家初创公司的许可证禁止将 Codestral 及其产出用于任何商业活动。虽然有"开发"的例外，但即使是"开发"也有注意事项：许可证明确禁止"员工在公司业务活动中的任何内部使用"，究其原因可能是 Codestral 部分训练内容受版权保护。Mistral 在博文中没有证实或否认这一点，但这并不奇怪；有证据表明，这家初创公司以前的训练数据集包含版权数据。无论如何，Codestral 可能不值得这么麻烦。该模型有 220 亿个参数，需要一台强大的电脑才能运行。(参数基本上决定了人工智能模型处理问题的能力，比如分析和生成文本）。虽然根据一些基准测试（我们都知道，这些基准测试并不可靠），该模型击败了竞争对手 ，但这并不能说明它有多厉害。虽然 Codestral 对大多数开发人员来说并不实用，而且在性能提升方面也是渐进式的，但它肯定会引发关于依赖代码生成模型作为编程助手是否明智的争论。至少在某些编码任务中，开发人员肯定会使用生成式人工智能工具。在 2023 年 6 月的 Stack Overflow民意调查中，44% 的开发人员表示，他们现在在开发过程中使用人工智能工具，26% 的开发人员计划不久后使用。然而，这些工具有明显的缺陷。GitClear 对过去几年中提交到项目仓库的超过 1.5 亿行代码进行了分析，发现生成式人工智能开发工具正在导致更多错误代码被推送到代码库中。普渡大学的一项研究显示，OpenAI 的 ChatGPT对编程问题给出的答案有一半以上是错误的。但这并不能阻止 Mistral 等公司试图将其模式货币化（并获得心智份额）。今天上午，Mistral在其Le Chat对话式人工智能平台上推出了托管版Codestral以及付费API。Mistral表示，它还致力于将Codestral纳入LlamaIndex、LangChain、Continue.dev和Tabnine等应用框架和开发环境。 原文：Mistral发布首个代码生成人工智能模型Codestral 但不可用于商业活动