苹果牌“AI”官方详解：Apple Intelligence 本地 30 亿参数模型，云端基于苹果芯片服务器

感谢指股网网友指股网6月12日消息，苹果在昨日的WWDC24上重磅公布了AppleIntelligence（苹果智能），将为随后，苹果机器学习官网公布了AppleIntelligence的详细信息。据苹果官方介绍，AppleIntelligence拥有两个基础模型：本地模型：设备上约30亿参数的语言模型，测试得分高于诸多70亿参数的开源模型（Mistral-7B或Gemma-7B）；云上模型：可通过私有云计算并在Apple芯片服务器上运行的更大云端语言模型。苹果表示，AppleIntelligence由多个高性能生成模型组成，这些模型专门针对用户的日常任务，并且可以动态适应他们当前的活动。AppleIntelligence中内置的基础模型针对用户体验进行了微调，例如编写和精炼文本、对通知进行优先级排序和总结、为用户与家人和朋友的对话创建有趣图像，以及采取应用内操作来简化应用之间的交互。在预训练方面，苹果的基础模型在AXLearn框架上进行训练，这是苹果于2023年发布的开源项目。它构建在JAX和XLA之上，使苹果能够在各种训练硬件和云平台上可扩展地训练模型，包括TPU以及云和本地GPU。指股网注意到，苹果承诺在训练基础模型时，该公司从不使用用户的私人个人数据或用户交互，并且会使用过滤器来删除互联网上公开的个人身份信息，例如社会保障和信用卡号码。苹果还过滤了脏话和其他低质量内容，以防止其包含在训练语料库中。除了过滤之外，苹果还执行数据提取、重复数据删除以及应用基于模型的分类器来识别高质量文档。在优化方面，苹果在设备端模型和服务器端模型都使用了grouped-query-attention，设备上模型使用49K的词汇大小，而服务器模型使用100K的词汇大小，其中包括额外的语言和技术标记。通过优化，苹果号称在在指令跟踪评估（IFEval）测试中，苹果本地模型性能优于包括Phi-3-mini、Mistral-7B和Gemma-7B等模型，且与DBRX-Instruct、Mixtral-8x22B和GPT-3.5-Turbo相比毫不逊色；而云上模型水平基本与GPT-4-Turbo持平。苹果计划在今年夏天推出的iOS18、AppleIntelligence可以免费使用，但仅限于配备A17Pro芯片或任何M系列芯片的设备。这意味着要使用这些功能，你需要一部iPhone15Pro或iPhone15ProMax，即将推出的在Mac方面，你需要一台配备M1或更高版本的Mac，而对于iPad，你需要一台配备M1芯片或更高版本的iPadPro或广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，指股网所有文章均包含本声明。