本文对高性能计算(HPC)计算连续体中的映射和调度策略进行了系统审查,特别强调了异构系统。 它引入了一个原型工作流程,以建立工作负载表征和资源分配的基础概念。 在此基础上,对66篇选定的研究论文进行了彻底分析 - 从2017年到2024年 - 评估了用于工作负载映射和调度的当代工具和技术。 审查强调,传统的Job Shop调度配方往往缺乏有效模拟现代HPC数据中心复杂性所需的表现力。 它还重申将HPC调度问题归类为NP-hard,因为它们的组合性质以及系统和工作量限制的多样性。 该分析揭示了对启发式和元启发式策略的普遍依赖,包括自然启发,进化,排序和搜索算法。 为了弥补观察到的差距,该研究倡导混合优化方法,战略性地整合启发式,元启发式,机器学习和新兴的量子计算技术。 当针对特定问题域进行定制时,这种集成有望显著提高异构 HPC 环境中工作负载优化的可扩展性、效率和适应性。
我们介绍了第一个将文本嵌入从一个向量空间转换为另一个矢量空间的方法,而无需任何配对数据,编码器或预定义的匹配集。 我们的无监督方法将任何嵌入转化为和从通用的潜在表示(即由柏拉图表示假说推测的通用语义结构)。 我们的翻译在具有不同架构、参数计数和训练数据集的模型对之间实现了高余烃相似性。 将未知嵌入到不同空间中的能力,同时保留其几何形状,对矢量数据库的安全性有严重影响。 只能访问嵌入向量的对手可以提取有关底层文档的敏感信息,足以进行分类和属性推断。
在关于生成式AI的版权诉讼中,原告和被告经常对大型语言模型(LLM)在多大程度上记住原告受保护的表达提出反对。 利用对抗性ML和版权法,我们表明这些两极分化的立场大大简化了记忆和版权之间的关系。 为此,我们利用最近的概率提取技术,从13个开放权重的LLM中提取Books3数据集。 通过许多实验,我们表明,从不同的LLM中提取至少一些书籍的很大一部分是可能的。 这是LLM背诵提取文本的证据;这种记忆内容被复制在模型参数内。 但结果很复杂:记忆的程度因模型和书籍而异。 通过我们的具体实验,我们发现最大的LLM不会记住大多数书籍 - 无论是全部或部分。 然而,我们也发现Llama 3.1 70B记忆了一些书,比如《哈利·波特》和《1984》,几乎完全。 我们讨论了为什么我们的结果对版权案件有重大影响,尽管不是明确有利于任何一方的结果。
模仿学习进行操纵有一个众所周知的数据稀缺问题。 与自然语言和2D计算机视觉不同,没有互联网规模的数据库用于灵巧操作。 一个吸引人的选择是以自我为中心的人类视频,一个被动的可扩展数据源。 然而,现有的大规模数据集,如Ego4D,没有原生手姿势注释,也没有专注于对象操作。 为此,我们使用Apple Vision Pro来收集EgoDex:迄今为止最大和最多样化的灵巧的人操纵数据集。 EgoDex拥有829小时的以自我为中心的视频,在录制时收集了配对的3D手和手指跟踪数据,其中可以使用多个校准相机和设备上的SLAM来精确跟踪每个手的每个关节的姿势。 该数据集涵盖了194个不同的桌面任务中的日常家庭物品的各种不同操作行为,从系鞋带到折叠洗衣。 此外,我们培训和系统地评估数据集上手轨迹预测的模仿学习政策,引入衡量这个日益重要领域的进展的指标和基准。 通过发布这个大规模的数据集,我们希望推动机器人技术、计算机视觉和基础模型的前沿。
多向量模型,如ColBERT,是神经信息检索(IR)的重大进步,通过多个上下文化的令牌级嵌入表示查询和文档,提供最先进的性能。 然而,这种增加的表示大小引入了大量的存储和计算开销,阻碍了在实践中的广泛采用。 减轻这种开销的一种常见方法是将模型的冻结向量聚类,但这种策略的有效性从根本上受到这些嵌入的内在聚类性的限制。 在这项工作中,我们介绍了CRISP(具有内在结构修剪的集群表示),这是一种新颖的多向量训练方法,可直接在端到端训练过程中学习固有的可聚性表示。 通过将聚类集成到训练阶段,而不是将其强加在临时阶段,CRISP在所有表示大小以及其他令牌修剪方法方面明显优于后集群。 在BEIR检索基准测试中,CRISP实现了矢量数量减少3倍的显著速度,同时优于原始未修剪模型。 这表明,学习聚类通过过滤不相关的信息有效地使模型脱色,从而产生更强大的多向量表示。 通过更具侵略性的聚类,CRISP实现了11倍的向量减少,质量损失仅为3.6%。
No items found.