韦伯发现木星大红斑上方和周围出奇地有趣和活跃

摘要：韦伯近红外探测器（Webb's NIRSpec）最近的观测揭示了木星高层大气的惊人细节，特别是在大红斑上方，显示了受重力波影响的复杂结构。这些发现是利用韦伯的高分辨率能力捕捉到的，可以为木星冰月探测器（Juice）任务提供支持，增强我们对木星及其卫星的了解。 对木星上的大红斑进行的新观测显示，木星大气层在这个广为人知的风暴上方和周围出奇地有趣和活跃。这幅图显示了韦伯观测到的区域--首先是它在整个行星的近红外摄谱仪图像上的位置（左），然后是由韦伯的近红外摄谱仪（NIRSpec）拍摄到的区域本身（右）。资料来源：欧空局/韦伯、美国宇航局和加空局、木星地球资源卫星小组、J. Schmidt、H. Melin、M. Zamani（欧空局/韦伯）木星是夜空中最亮的天体之一，在晴朗的夜晚很容易看到。除了木星两极区域明亮的北极光和南极光之外，木星上层大气的光芒很弱，因此地面望远镜很难分辨出这一区域的细节。然而，韦伯望远镜的红外敏感度使科学家们能够以前所未有的细节研究木星上层大气中广为人知的大红斑。木星的上层大气是木星磁场和下层大气之间的界面。在这里，我们可以看到明亮而充满活力的北极光和南极光，它们是由木星的卫星木卫一喷出的火山物质形成的。然而，在靠近赤道的地方，木星上层大气的结构会受到射入阳光的影响。由于木星接收到的阳光只有地球的 4%，天文学家预测这一区域的性质是均匀的。2022年7月，韦伯的近红外摄谱仪（NIRSpec）利用该仪器的积分场单元功能对木星大红斑进行了观测。研究小组的"早期释放科学"观测试图调查这一区域是否真的暗淡无光，而韦伯观测的目标就是标志性的大红斑上方区域。研究小组惊奇地发现，在整个视场中，大气层上部有各种错综复杂的结构，包括暗弧和亮点。Webb NIRSpec 的观测结果显示了木星电离层中氢分子发出的红外光。这些分子位于风暴云层上方 300 多公里处，来自太阳的光线使氢气电离并激发了这种红外发射。在这幅图像中，较红的颜色显示了来自木星电离层高空的氢发射。较蓝的颜色显示来自较低高度的红外光，包括大气层中的云顶和非常突出的大红斑。木星远离太阳，因此日照均匀且水平较低，这意味着木星表面大部分区域在这些红外线波长下相对较暗--特别是与木星磁场特别强的两极附近分子发出的辐射相比。研究人员曾预计这一区域的性质会因此而显得单一，但与此相反，在整个视场中，这一区域拥有各种错综复杂的结构，包括暗弧和亮点。图片来源：ESA/Webb、NASA & CSA、H. Melin、M. Zamani（ESA/Webb）团队负责人、英国莱斯特大学的亨里克-梅林（Henrik Melin）说："我们天真地以为，这个地区会非常无聊。事实上，它和北极光一样有趣，甚至更有趣。木星从未停止给我们带来惊喜。"虽然该区域发出的光是由太阳光驱动的，但研究小组认为，一定还有其他机制在改变高层大气的形状和结构。"改变这种结构的一种方式是重力波--类似于海浪拍打沙滩，在沙滩上形成涟漪，"亨里克解释说。"这些波在大红斑周围湍急的低层大气深处产生，它们可以向高空传播，改变高层大气的结构和排放。"研究小组解释说，在地球上偶尔也能观测到这些大气波纹，但它们比韦伯在木星上观测到的波纹要弱得多。他们还希望在未来对这些错综复杂的波纹图案进行后续的韦伯观测，以研究这些图案是如何在行星的高层大气中移动的，并加深我们对这一区域的能量预算以及这些特征如何随时间变化的理解。这些发现还可能为欧空局于2023年4月14日发射的木星冰月探测器Juice提供支持。Juice将利用一套遥感、地球物理和现场仪器对木星及其三颗大型蕴藏海洋的卫星--木卫三、木卫四和木卫三--进行详细观测。这项任务将确定这些卫星作为行星天体和可能的栖息地的特征，深入探索木星的复杂环境，并将更广泛的木星系统作为整个宇宙中气体巨行星的原型进行研究。这些观测是作为早期发布科学计划 #1373 的一部分进行的：ERS 对木卫三系统的观测是 JWST 太阳系科学能力的展示 （共同首席科学家：I. de Pater、T. Fouchet）。"这份地球资源卫星提案早在2017年就写好了，"团队成员、加州大学伯克利分校的伊姆克-德-帕特（Imke de Pater）分享道。"我们的目标之一是研究为什么大红斑上方的温度看起来很高，因为当时美国宇航局红外望远镜设施的最新观测结果显示，大红斑上方的温度很高。然而，我们的新数据却显示出截然不同的结果"。这些结果发表在《自然-天文学》上。编译自/scitechdaily 原文：https://m.cnbeta.com.tw/view/1437386.htm

传言“李子树下埋死人” 吃李子真的对身体有害吗？

摘要：随着夏季的到来，市场上的水果摊开始摆满了诱人的李子。每年的 5~10 月，是李子上市的时间，尤其是七八月份，是李子售卖的旺季。李子可大可小，色泽艳丽，有红色、紫色、绿色、黄色或橙色的皮和粉色、黄色或橙色的果肉。口感酸甜，是夏日消暑的绝佳选择。 吃李子的好处李子的营养在水果中并不算突出，比如维生素 C 每 100g 只有 5mg（与苹果相当），β 胡萝卜素也只有 150 微克。不过，没有高含量的营养素，不代表李子不值得吃，因为：1、热量低，有助于“减肥”对于正在减肥的人来说，李子是一个理想的选择。每 100 克李子的热量仅为 38 千卡，这意味着你可以享受水果的美味，而不必担心摄入过多的热量。要知道，我们常见的水果，热量可比李子高得多。李子的热量，也就是柿子、雪梨、石榴的一半左右。数据来源：食物成分表（第 6 版/标准版）此外，李子中的膳食纤维可以增加饱腹感，有助于控制食欲，减少其他高热量食物的摄入。2、糖分低、升糖指数低“控血糖”水果因为含有糖分，对于一些血糖异常和减肥的朋友，是饮食上的“禁忌”。但实际上，水果只要选对了，在提供营养的同时，也不会有健康困扰。李子就是不错的选择。要知道，绝大多数水果，糖含量在 10%以上。而李子的糖分含量较低，100g 李子只有 8.7g 的糖分。而且，李子升血糖的速度慢，升糖指数（GI）仅为 24，比苹果（36）还要低，对于糖尿病患者来说，适量食用李子有助于控制血糖。3、抗氧化成分丰富“抗炎”虽然李子的营养不突出，但植物活性成分相当不错。在《营养学杂志》（Nutrition Journal）收录的一篇文章里，对 3139 种食物进行了抗氧化成分含量的比较，其中，李子赫然在列。李子富含多种抗氧化和抗炎成分，如花青素、胡萝卜素以及黄酮类等。特别是那些色泽深邃的李子，如黑布林、红布林、芙蓉李、西梅，更是这些成分的宝库。尤其是黑布林的原花青素和杨梅黄酮、红布林的多酚含量和抗氧化能力，相当突出。据研究，定期食用李子对改善血脂指标、维护心血管健康有着不可忽视的益处。4、山梨糖醇+膳食纤维“缓解便秘”李子中含有一定量的山梨糖醇，100g 里就有 5.4g。这种物质进入到肠道内，可以提高渗透压，让便便没那么干燥。里面的膳食纤维是个助攻，可以刺激肠道蠕动，促进排便，从而缓解便秘。这对于经常受便秘困扰的人来说，无疑是一个好消息。想想为啥很多便秘食品里都有西梅就知道了，西梅汁、西梅干、鲜西梅……原来，西梅是“李”不是“梅”1、李子是桃、杏的亲戚李子属于蔷薇科（Rosaceae）李属（Prunus）植物，与桃、杏、梅等水果同属于一个大家族。这个看似普通的水果，其实有着悠久的种植历史和广泛的地域分布。数千年前，李子首先在中国生长。随后，李子传到了日本、欧洲部分地区和美国。如今，世界各地有 2000 多个品种。在我国，从东北到西南，从沿海到内陆，几乎全国各地都有李子的身影。2、西梅竟然是李子李子的种类繁多，市面上的李子，主要有三大类：欧洲李、中国李和杂交李。被大家熟知的有黑布林（中国李和欧洲李的杂交）、三华李（中国李，广东翁源县中国地标产品）、青脆李（中国李）等，每一种都有其独特的风味和营养价值。不过，还有一种水果，大家并不知道它也是李子——西梅。虽然名字里带个“梅”，但实际上西梅是李属的，属于欧洲李，是名副其实的李子。西梅不仅口感酸甜适中，而且富含膳食纤维和抗氧化物质，对于促进消化和预防疾病有很好的帮助。关于李子的谣言民间流传“桃养人，杏伤人，李子树下埋死人”，李子被视为可能对人体造成伤害，甚至可能致命。很多朋友想吃李子，但碍于传言，又吃得小心翼翼。其实，李子的问题主要就以下 2 个方面：1、鞣酸影响蛋白质消化李子中含有一定量的鞣酸，没成熟的李子中就更多了。所以如果吃了没成熟的李子或吃了很多，里面的鞣酸会影响蛋白质的消化吸收，导致腹痛或者腹胀。因此，不建议吃没熟透的李子，即使吃的是熟透了的也要适量。2、果核中有毒的氢氰酸另外，李子核中含有氰苷类物质，食用后会水解成有毒的氢氰酸，可能会导致中毒。但只要我们不吃核，就完全不用担心这个问题。图片来源：中国营养科学全书（第二版/上册）总的来说，“李子树下埋死人”有夸大性。还有人说，李子味道酸，会导致胃酸变多而伤胃。其实，李子中的果酸确实可以刺激胃酸分泌，只要不过量，对于胃部健康的朋友来说，不用担心胃部不适的问题。但如果本身胃酸分泌过多的朋友，比如胃溃疡患者，则建议挑选偏甜少酸的李子，少量食用，以免加重病情。李子食用的注意事项想要李子为健康带来最大收益，你需要知道怎么科学吃李子。李子虽好，但也要注意以下几点，为健康加分。1、选成熟的成熟的李子味道甜美，酸味较少，适口性好。在购买时，选择相对较硬，但轻轻挤压时会略有“弹性”。如果你买的李子成熟度比较高，又不着急吃，建议放冰箱冷藏。而未成熟的李子不仅更酸涩，还含有较多的鞣酸。上面提到，鞣酸会影响蛋白质的吸收，除此之外，它还会与钙、铁和锌等矿物质形成沉淀， 也可与维生素 B12 形成络合物而降低利用率，影响整体的营养。2、带皮吃无论是抗氧化活性还是多酚等抗氧化物的含量，李子果皮都比果肉要强。另外，李子皮的粗纤维含量也较高，对促进肠道蠕动、缓解便秘也有好处。在吃李子时，把果皮洗干净，连皮吃更营养。不过，如果是不太熟的李子你非要吃，建议把皮去了（鞣酸多）。3、两餐之间吃有研究显示，两餐之间吃李子或李子干，会增加饱腹感，可以减少下一顿的热量摄入，对稳定血糖也有帮助。所以，如果你爱吃零食，不妨把不健康的零食换成李子或者李子干吧。4、每天不超过 350g中国居民膳食指南建议，每天水果建议吃 200~350g。不过，考虑到不同水果的风味、营养不相同，建议李子可以和其他类型的水果搭配着吃，小个的每天 5~7 颗，大个的 2、3 个即可。参考文献[1]肖星凝,李苇舟,石芳,et al.不同品种李子多酚组成及抗氧化活性[J].食品科学, 2017, 38(15):7.DOI:10.7506/spkx1002-6630-201715006.[2]Carlsen MH, Halvorsen BL, Holte K, B?hn SK, Dragland S, Sampson L, Willey C, Senoo H, Umezono Y, Sanada C, Barikmo I, Berhe N, Willett WC, Phillips KM, Jacobs DR Jr, Blomhoff R. The total antioxidant content of more than 3100 foods, beverages, spices, herbs and supplements used worldwide. Nutr J. 2010 Jan 22;9:3. doi: 10.1186/1475-2891-9-3. PMID: 20096093; PMCID: PMC2841576.[3]Howarth, L, Petrisko, Y, Furchner-Evanson, A, Nemoseck, T, Kern, M. 2010. Snack selection influences nutrient intake, triglycerides, and bowel habits of adult women: a pilot study. J Am Diet Assoc 110: 1322–1327.[4]中国营养学会.中国营养科学全书（2019）.北京:人民卫生出版社,2019[5]孙松朋,龙俊红,倪红,等.饮食调整和膳食纤维补充治疗慢性便秘的循证医学证据和临床建议[J].中国全科医学, 2022, 25(18):10.DOI:10.12114/j.issn.1007-9572.2022.0112.[6]杨月欣.中国食物成分表第6版第1、2册[M].北京大学医学出版社,2018 原文：https://m.cnbeta.com.tw/view/1437388.htm

俄罗斯一卫星爆炸产生至少250个碎片 可能威胁中国空间站

摘要：可实时跟踪低地轨道航天器、为美太空军提供咨询服务的美国太空商业公司LeoLabs发布报告称，6月26日，俄罗斯一颗卫星意外发生爆炸，在太空中产生了数百个碎片，成为太空垃圾。据称，涉事卫星是俄罗斯废弃的遥感卫星“资源1号”(Resurs P1)，2021年退役，轨道高度约355公里。 虽然这次爆炸虽然强度不大，但是在500公里高的轨道上，产生了至少250个碎片。这些碎片预计会在轨道上停留几个星期到几个月，直到落入大气层，可能会对国际空间站、中国空间站和其他低轨卫星造成一定的威胁。目前尚不清楚这颗卫星爆炸的原因，LeoLabs猜测最有可能的是外部刺激，比如微型天体或者其他太空垃圾的碰撞。但可以排除的是，这并非俄罗斯方面在进行反卫星试验，不同于2021年11月的宇宙1408卫星。有趣的是，其他光学检测发现，这颗卫星并未完全解体，主体还在，但正在以2-3秒的周期快速旋转，进一步佐证了外部撞击的猜测。 原文：https://m.cnbeta.com.tw/view/1437387.htm

破解ChatGPT惊人耗电 DeepMind新算法训练提效13倍，能耗暴降10倍

摘要：ChatGPT早已成为世界耗能大户：一天用掉超50万度电，相当于1.7万个美国家庭的用电量！然而，大模型对能源的吞噬，远不仅如此。国际能源署（IEA）预测，从2022年到2026年，数据中心的用电量将翻一番。 随着AI计算需求的膨胀，还需要用水来冷却计算系统。研究称，微软用水量从2021年到22年飙升了34%，ChatGPT每处理5-50个提示就会消耗接近半升水。针对这种现状，我们有更好的解决策略吗？最近，GoogleDeepMind研究团队提出了一种加快AI训练的新方法——多模态对比学习与联合示例选择（JEST），大大减少了所需的计算资源和时间。JEST以13倍更少的迭代次数，以及10倍更少的计算量，超越了最先进的模型！预训练的参考模型，已经学习了什么样的数据是有“优质的”或“有用的”。然后通过模型，来引导数据选择那些精心筛选过的小型数据集。这一发现揭示了，数据筛选水平可以作为评判Scaling Law的一个新维度。网友激动表示，“我没想到这么快就会发生。模型能够自主选择训练数据的能力是巨大的，因为它使训练变得显著更容易，你不再需要猜测什么是高质量的训练数据，你有一个能够『理解』什么样的数据对自身学习最有价值的模型”。前Google、苹果软件工程师称赞道，这项研究非常令人印象深刻。从“超级batch”中筛选数据无论是语言、视觉还是多模态模型，数据质量是预训练性能的重要驱动因素。比如Phi-3、Gemma 2等模型的成功让我们看到了，更少、更高质量的数据有可能实现更强大的性能。要筛选出高质量的数据，数据管道的建立就成为重要的工作。现有的方法大体可以分为两种：1）手动管理 2）基于模型的数据管理，用正在训练模型的特征选择高质量数据。前者成本高昂且难以扩展，后者则有望为多模态LLM实现Scaling Law。然而，现有方法忽略了一个事实。如果仅在单个数据点的层面进行筛选，就没有考虑到数据集以及batch的总体组成。毕竟，训练数据是以batch为单位，数据点之间的依赖性不可忽视。许多计算机视觉的研究都曾表明，hard negatives（表达空间中相近但标签不同的样本）相比可被平凡解的数据簇，能提供更有效的学习信号。那么如何让模型以batch为单位筛选数据呢？论文提出的JEST算法正是要解决这个问题，原理很好理解：就是直接从“超级batch”中筛选出“子batch”。技术介绍用数学语言来描述这个问题，就是从大小为B的“超级batch”中提取出与学习最相关的子batch ℬ={,∈[1,…,]}⊂，过滤比率可以写作=1−/。之前的优先采样（prioritized sampling）会使用基于模型的评分函数对每个数据点打分，再按比例采样。JEST则直接对整个子batch评分，再按照batch级别的分数采样。一种最直观的启发式方法就是在现有模型参数 : hard⁢(ℬ|)=ℓ⁢(ℬ|) 中，直接选择损失值最高的batch，这种方法可被称之为“硬学习”（hard learner）。这种方法具有丢弃琐碎数据的理想属性，已被证明适用于小型、干净的数据集；然而对于较大、较少管理的数据集往往弊大于利，因为它依旧会采样到噪声数据。另一种方法常用于多模态，使用具有参数 ∗:^easy⁢(ℬ|∗)=−ℓ⁢(ℬ|∗) 的参考模型为预训练模型采样数据。但作者依旧否定了这个方案，因为它无法直接反映模型当前的状态，可能过度依赖参考模型的选择，而且不易于扩展。最后，论文选择借鉴ICML 2022年的一篇论文中提到的方法，将上述两方面的评分结合起来：^learn⁢(ℬ|,∗)=hard⁢(ℬ|)+^easy⁢(ℬ|∗)=ℓ⁢(ℬ|)−ℓ⁢(ℬ|∗)，并将这种启发式方法称为“可学习性评分”（learnability score）。其中，batch上的损失值ℓ⁢(ℬ|)是各数据点之和，使用sigmoid对比损失函数计算（sigmoid-contrastive loss），因为相比softmax对比损失而言，它的扩展性更强。由于batch上的对比损失可以分解为每个样本的条件损失之和，因此可学习性评分可被分解为单个样本可学习性评分⁢(|,∗,ℬ)之和，写作：使用的顺序采样方法则受到了block Gibbs采样的启发。在第n次迭代、对第B_n个batch进行采样时，依据如下概率公式对块{X_k}进行无替换采样：将X_k块添加到B_n中来更新当前采样的batch，直至迭代数n=N时终止。算法的总体流程如下图所示：实验中发现，使用迭代数N=16且每次迭代时独立采样b/N=2048个样本时，就足以恢复出学习性非常高的batch。可学习性评分中涉及到使用参考模型为数据点打分，之前的方法惯常使用额外的小型模型，但这会增加每次迭代的计算成本，降低总体FLOP效率增益。因此论文使用了在线模型近似的方法以及效率较高的FlexiViT架构，只使用降低分辨率的32×32的patch来评估“超级batch”，与全分辨率、patch大小为16×16的方法相比减少了72%的FLOP，以及67%的挂钟时间（wall-clock time）。此外，论文还提出了进行多分辨率训练的技巧。将每个batch随机分成两半，使用不同分辨率编码后再拼接起来，提升了评分过程和训练的效率。下图详细描述了全分辨率JEST和多分辨率Flexi-JEST方法的伪代码实现。所有JEST实验都在WebLI数据集上运行，包含经过宽松过滤的十亿规模的英语图像-文本对，参考模型的训练则使用其中经过高质量过滤100M大小的子集（被称为WebLI-curated）。在WebLI的基础上，作者还额外从网络上抓取了6亿个文本-图像对并经过同样强度的过滤，组成WebLI-curated++数据集训练参考模型，拓展出JEST++/FlexiJEST++方法，来探索对数据管理的扩展。论文所报告的平均性能包括4个多模态规范基准：ImageNet 0-Shot和10-Shot 分类以及COCO图像到文本和文本到图像的top-1检索。实验结果图1中可以看到，使用JEST或FlexiJEST方法的最明显优势就是效率提升。左图中，相比原有的SigLIP基线模型，JEST++可以在训练数据量减少13.1×的情况下达到相同准确率。即使考虑到额外引入的打分成本，也有近10×的FLOP效率提升（中图）。右图展现了JEST++/FlexiJEST++（绿色）与先前方法（灰色）的比较，相比CLIP、EVA-CLIP经典模型实现了计算成本和性能的双重提升。左图和中图的平均准确率由8个下游任务得出，右图性能由ImageNet和COCO基准测试得出产生可学习batch研究人员首先评估了JEST在选择可学习batch方面的效果。为了直观地理解这一方法，作者们先将可学习性矩阵进行可视化，即学习模型和参考模型之间，对batch中所有示例对的损失差异。JEST就是按照示例子矩阵的可学习性总和比例进行采样。由于矩阵明显非对角关系（图2，左），独立选择显然是次优的。经过少量迭代（对应于用N=16个块填充batch），作者发现子batch的可学习性快速增加，达到了需要数千次迭代的暴力吉布斯采样（Gibbs sampling ）所提取batch的可学习性（图2，中）。对于0.5、0.8和0.9的过滤比例，他们从大小分别为65,536、163,840和327,680的超级batch中选择32,768个示例的子batch。在图2右侧，研究者还发现子batch的可学习性随着更大的过滤比例而增加。总之，JEST算法是在训练过程中选择高度可学习batch的有效，且高效的方法。加速多模态学习接下来，研究人员使用JEST算法选择的可学习batch，检验训练模型的效果。所有实验都使用在WebLI-curated上训练的参考模型，这是一个ViT-B/16和Bert-B图像-文本双编码器，30亿训练样本，采用sigmoid对比损失函数。图3（左）显示了在训练过程中多个下游任务（ImageNet 0-Shot/10-Shot准确率和COCO图像到文本/文本到图像检索）的平均性能。结果还发现，JEST显著加速了学习过程。在使用50%、80%和90%的过滤比例时，分别只需20亿、10亿和6.7亿训练样本就达到了30亿均匀基准的最终性能。在更大的过滤比例下，坐着观察到类似于更大batch size时的训练不稳定性，需要修改Adam优化器（β2 = 0.95）以稳定训练，这表明JEST的数据筛选可以被视为增加了有效batch size。在最终性能方面，当过滤90%的数据时，JEST也带来了高达6%的显著提升（图3，中间，蓝色曲线）。值得注意的是，这种scaling行为这种性能提升在独立样本选择方法中，并没有观察到。（图3，中间，橙色曲线）。最后，研究者还评估JEST是否也改善了，除可学习性之外的其他优先标准。图3右侧显示了使用easy-reference优先选择的模型在不同过滤比例下的性能。与基于可学习性的优先选择一致，JEST仍优于独立样本选择，特别是在高过滤比例下（在这种情况下，独立样本选择导致性能下降）。优先选择具有最高损失的数据产生了较小的收益，并且随着过滤更多数据而更快地退化（图10）。由于基于可学习性的JEST产生了最佳的scaling行为，研究人员在后续实验中保留了这一标准。多分辨率训练和在线batch选择之间的协同效应随着数据batch中被过滤的比例增加，基于可学习性评分的JEST变得更加高效。然而，评分的成本会带来显著的提升：过滤超级batch 80%的数据会导致每次迭代的浮点运算量是IID训练的4倍，或者在缓存参考模型得分时是2.3倍。尽管JEST在训练迭代次数方面（以下简称“训练效率”）显著提高了效率，但额外的评分浮点运算降低了其相对于IID基准的计算效率（图1，左vs右）。因此，作者还研究了一种计算效率更高的变体，称为Flexi-JEST，它使用多分辨率训练和低分辨率评分，将总开销降低到仅比基准高10%（图4，左）。这些近似方法对性能有什么影响？正如预期的那样，Flexi-JEST的每次迭代性能相对于JEST有所下降，但仍然比IID有显著的加速（图1，左；图4，中）。然而，考虑到总浮点运算量的减少，每次迭代性能的下降是非常有利的：最好的Flexi-JEST模型与40B Siglip运行产生相同的平均性能，但浮点运算量减少了9.9倍，比全分辨率JEST少2倍（图1，右；图4，中）。这些实验表明了多分辨率训练和联合示例选择之间的协同效应，前者为加速后者提供了高效和准确的评分能力。实验结果，还指出了数据策划策略的帕累托前沿（pareto front）。如果以计算为代价来最大化训练速度或训练效率，全分辨率JEST方法相对于可比的IID训练运行，可以产生高达13倍的加速。实现强大数据质量引导可学习性评分的核心是，一个在人类选择的小型、精心筛选的数据集上，训练的参考模型。JEST的性能如何随不同的筛选策略（在质量和数量之间权衡）而变化？此外，JEST训练的改进是否与参考模型的性能相关，还是这些指标是分离的？理解质量与数量的权衡研究人员探索了三种规模的数据筛选，每种都是原始WebLI数据集的一个子集：- 弱筛选（十亿级规模）：使用图像-文本对齐（ITA）过滤器。- 中度筛选（3亿级规模）：使用ITA过滤器或文本质量（TQ）过滤器。- 强筛选（1亿级规模）：结合使用TQ、ITA和额外的图像质量（aesthetic）过滤器。在整个过程中，作者将这个强筛选子集称为“WebLI-curated”。然后，他们在这四个WebLI子集上，各训练10个epoch的标准SigLIP编码器，并将它们用作在全WebLI数据集上进行JEST训练的参考模型。在不同的数据筛选方法中，参考模型的性能和JEST的性能似乎是解耦的（甚至可能是反相关的；图5，左）。虽然增加筛选（和减少数据集大小）会产生较弱的模型，但当它们被用作JEST预训练的参考模型时，却产生了相反的效果：使用强筛选参考模型的JEST获得了2.7%的改进，中度筛选获得了1.5%的改进，弱筛选获得了0.3%的改进。扩展数据筛选假设参考模型性能与JEST性能之间的普遍解耦，可能仅仅是由数据筛选所施加的数据集大小限制造成的。为了理解这种效果，研究人员在WebLI-curated上训练了5个参考模型，同时改变所见的总样本数（从2.5亿到30亿）。在这种情况下，图5（右）显示了改进的参考模型与更好的JEST预训练之间存在着显著的相关性。这表明“解耦”现象主要可以归因于参考模型因筛选后数据集大小减少而导致的饱和。此外，研究人员还注意到，当数据集达到饱和时，图5（右）中的相关性开始崩解，即在10个epoch或者看到10亿个样本之后。这些结果表明，JEST可能会从进一步扩大参考数据集的数据筛选中获益。鉴于使用WebLI-curated++对数据进行扩展整理能显著提高参考模型的性能，作者提出了是否有必要在原始WebLI数据集上进行预训练的问题。然而，在评估参考模型在不同数据集上的性能时，却发现：虽然它在2个下游任务上的性能优于WebLI预训练，但在其他6个任务上的性能，以及平均性能都明显低于WebLI预训练（表 5）。与现有数据比较最后，论文应用JEST++在公开的LAION-2B数据集上进行预训练，删除了其中不安全的图像-文本对，但没有进行其他的预先过滤。这个数据规模相比的SOTA方法DBP减少了4×，但JEST++依旧远远超过了所有之前的离线数据管理方法。简化数据管理之前提到过，用于预训练的WebLI-curated是原始数据集WebLI过滤后得到的，以求筛选出高质量的图像-文本对齐的数据。如表3所示，这种离线数据管理流程对IID（独立同分布）训练方法的性能至关重要，但JEST++则表现出了对预过滤流程的鲁棒性。即使没有过滤，JEST++的性能也没有出现明显下滑，降低了模型对基础数据集的要求。结论和局限性总体来说，JEST方法展现出了“数据质量引导”（data quality bootstrapping）方法的巨大潜力，即使用小规模精选数据集来指导对更大的、未经管理的数据集的学习。最近的研究表明，在下游任务未知时，静态数据集的过滤会限制模型性能。这篇论文的结果则表明，相比单独选择样本的方法，在线构建batch能提高预训练的效率。无论是使用JEST参考模型对数据集进行预评分，还是通过可学习性评分来根据模型需求进行动态调整，都可以成为通用基础数据集的更有效率的替代方案。论文的最后，作者也提出了该方法的局限性。虽然JEST同时实现了性能增益和训练成本降低，但依旧依赖于小型、精心管理的参考数据集，它指定了未经管理的更大数据集中优先考虑的分布。因此，未来的工作可以探索一种方法，从指定的下游任务中如何推断出参考数据集的组成和分布。 原文：https://m.cnbeta.com.tw/view/1437383.htm

《辐射》最早规划一千个避难所 但实际上远远不到

摘要：资深程序员和RPG设计师Tim Cain发布了一个新视频，揭示了他和他的团队最初为《辐射》避难所计划的一些背景故事。Interplay的团队构思了美国有1000个避難所的宏伟计划，但Cain随后探讨了其中的一些游戏内和现实生活中的后勤问题，不过他也强调了这只是他的一些想法：“这只是我个人的谈论-不是官方设定！” 首先，1000这个数字只是一个美观上的选择。Cain说：“Leonard（《辐射》首席美术师）在设计避难所服饰时问我需要预留多少位数来显示编号。当时我想，嗯，干脆说个圆整的数字吧，就1000吧。”“我是一个程序员，我从0开始计数，三位数。”然后，关于存在一个“0号避难所”的想法变成了Cain之前分享过的《辐射》世界观的一个细节：这个避难所的实验是为了准备长途星际旅行。Cain还顺便透露了另一个《辐射》世界观的基石源于风格上的考量：废土残酷无情的美国被划分成13个“联邦国”，这完全是因为辐射的美工团队为游戏设计了一面13星的美国国旗。“据Leonard所说，[《辐射》美术团队]只是觉得这样看起来很酷。”但是，即使美国有1000个避难所，Vault-Tec公司也无法拯救那么多人，Cain估计最多只能拯救美国人口的“千分之一”。“如果每个避难所都容纳1000人左右，那么Vault-Tec的避难所总共只能容纳100万人，这远低于我们想象的人口数量。”另外，虽然这些游戏肯定使用了艺术创作自由和模糊的比例，但每个避难所容纳一千人吗?我记得《辐射3》中的101号避难所里只有十几个人。他们都来参加了我的生日派对。无论如何，Cain甚至不认为1000个避难所的最理想情况是可能存在的，看看游戏中避难所的密度就知道了。《辐射》前两部向我们展示了整个加州，理论上两款游戏之间至少应该有20个避难所。Cain说：“《辐射1》和《辐射2》加起来，只有大约4到6个明确定义的避难所。这还是算上了那些没有编号的避难所，比如哈罗德的避难所。”虽然电视剧又为加州添加了4个避难所，但这仍然只占人口稠密州应有数量的一半，其他游戏在避难所密度方面也并没有好多少。不过，Cain认为在游戏世界里可能存在一个合理的解释：“结论是Vault-Tec公司：他们并没有建造全部1000个避难所，甚至都没有接近这个目标。”Cain说：“Vault-Tec公司建造的避难所数量不到一半，甚至可能远少于他们应该建造的數量。”他将该公司比作现实生活中某些承包商，总是低价中标，然后偷工减料，在《辐射》悲观的平行宇宙里，这种情况只会更糟。Cain总结道：“我认为肯定远少于1000个。” 原文：https://m.cnbeta.com.tw/view/1437384.htm

日媒天才漫画家票选排行 尾田超越鸟山明排第二

摘要：日本有着众多的漫画大家，在世界享有盛誉的也不在少数，日前日媒再次发起了天才漫画家票选排行，尾田超越鸟山明排第二，第一位不容置疑。 日媒天才漫画家票选排行TOP5：第五名：青山刚昌。支持率5.7%。柯南永远长不大，青山老师的杀人局就永不完结。第四名：藤子F不二雄。支持率6.7%。蓝胖子永远都是我们的挚爱。第三名：鸟山明。支持率9.3%。大师的地位和水准世界称道。第二名：尾田荣一郎。支持率11.4%。海贼王终于快完结了。第一名：手冢治虫。支持率21.8%。漫画之神不容置疑。 原文：https://m.cnbeta.com.tw/view/1437385.htm