蘋果冷靜地觀察了生成式AI亢奮的一年，一直在為自己的生態基礎添磚加瓦，還在一步一個腳印地邁向明年發布AiPhone。

  十月份，蘋果機器學習研究團隊曾推出一個“雪貂“模型(Ferret)，這個多模態大模型比GPT-4v對空間的理解更準確。最近這個模型開源了。簡單地說，在一幅圖中的任何地方，你指出任何一個物體，哪怕它再微小，“雪貂”都能解釋清楚。

  這種對空間的敏感，對于蘋果即將發布的Vision Pro具有重要作用，它讓自然/虛擬的視覺感知與語言大模型結合。這篇不張揚的論文作者全部是華人，最近越來越引起業內的重視，它在空間計算上達到了SOTA水平。

  “雪貂”模型架構 (來源：FERRET: REFER AND GROUND ANYTHING ANYWHERE AT ANY GRANULARITY )

  蘋果最近推出了能在其M3芯片上訓練部署大模型的開源框架MLX。這意味著Mac筆記本電腦的開發者，可以開發出大模型支持的應用。

  蘋果還推出了“閃電大模型” (LLM in a Flash)，用閃存解決了手機上部署大模型內存(DRAM)不足的問題。

  這是個人很喜歡的一篇論文。是的，偷偷干活的蘋果，也開始默默地發論文了。

  這篇論文談的是一個小而關鍵的問題，如何在手機這樣一個內存非常有限的空間里，部署一個大模型，而且推理的速度要快，還不費電池。

  它的最大優點，不是就算法談算法，而是從對硬件的深刻理解，結合算法提出了自己的方法。它的出發點完全是消費者思維，大模型在遙遠的云端，大得嚇人，貴得驚人，只有揣在用戶的口袋里，才能讓消費者對生成式AI產生感覺。

  DRAM太小，放不下一個幾十億級的模型。盡管可以放到閃存里，但閃存的帶寬不夠。為了最小化從閃存到DRAM帶寬的負載，蘋果創新了兩個技術，窗口化 (windowing)和行列捆綁 (row-column bundling)(詳見論文)。

  在OPT 6.7B和FALCON 7B兩個模型上測試，結果相當“炸裂”，能夠運行的模型尺寸達到可用DRAM能容納的兩倍，與CPU和GPU中的簡單加載方法相比，推理速度分別提高了4~5倍和20~25倍。

  對齊芯片、操作系統和系統設計，找到方法建立起一個推理成本模型，這事只有蘋果做得出來。

  最近一系列的幾十億參數級小模型表現當驚世界，如Mistral， Phi-2能挑戰百億參數級大模型;谷歌推出了18億參數的Nano級Gemini模型，直接裝到Pixel手機上。高通的驍龍芯片能跑得動百億參數級的模型。三星可能將于2024年初推出生成式AI游戲功能的Galaxy S24手機。

  還有上海交大團隊推出的推理引擎PowerInfer，都為大模型在設備終端，尤其是手機和筆記本電腦的部署，掃清一個又一個障礙，也預示著2024年，消費類電子產品，將會迎來一波大模型加載的高潮。

  這些“小”模型的推出，有一個共同的特征，就是采用了高質量的數據，“教科書級”的數據。無疑，主流新聞媒體的檔案，所能提供的是好的語言訓練材料。

  蘋果正在與美國各大媒體機構談判，約以5000萬美元的價格，獲得這些媒體的檔案語料庫，用來訓練自己的大模型，可能會用Siri的對話服務。

  想想這些用來訓練語料的品質吧，康迪納斯特的Vogue、New Yorker、NBC News，以及IAC的People、The Daily Beast、Better Homes、 Gardens等。它包括大量的以時尚與生活方式為內容的精美文字和圖片。也包括部分新聞文章、圖片和視頻。

  但是其他的主流媒體對此沒有表示出多少興趣。以往紙媒與社交媒體的合作，并沒有給他們帶來多少利益。另外，媒體將其檔案中的新聞交給蘋果去訓練大模型，在使用的過程中，可能產生的法律糾紛，也引起這些媒體的擔憂。

  蘋果的做法，被認為更加地道。其他的AI公司或者科技巨頭，是先用了人家的語料，被揪住了再去談授權，已經引發了一些官司。

  蘋果出于對隱私的強調，它不愿意直接從網絡上扒數據。蘋果也不允許收集其客戶的數據。

  那么，2024年蘋果會做什么？

  大家首先想到的是，它會在明年推出生成式AI加持的語言助理Siri。它將是2024年秋季iPhone16和iOS18的最大亮點。有些果粉開玩笑說會推出SiriGPT。但這些都只是冰山一角。

  巨頭的做法，通常是尋找新的技術加強其固有的核心能力，在原有的產品上產生差異化。是從表面上看，吃老本的蘋果，在生成式AI上行動遲緩，采取了保守的跟隨戰略?還是蘋果能真正利用其在芯片、操作系統、大模型方面一體化整合的能力和產品設計能力，做出最好的AI產品體驗?答案可能是后者。

  蘋果在過去的幾年，已經收購了幾十家AI初創企業，用于其產品、服務及生態中。只是這里面沒有那些明星級的初創公司。

  蘋果只做不說，早有分析人士注意到，蘋果在AI上的投資，一點都不比微軟少：已經花了上百億美元，建造生成式AI應用開發的基礎設施。稍早人們傳聞蘋果在內部偷訓自己的大模型Ajax，或者叫Apple GPT，據說當時能趕上GPT-3.5.

  但最近蘋果在機器學習方面一系列的研究成果表明，蘋果在走自己的路。微軟、谷歌、亞馬遜、英偉達，以及OpenAI為代表的閉源大模型公司，圍繞模型、云和算力去收割了第一茬。

  而蘋果看重的是其20億設備及其用戶所形成的巨大的生態。生成式AI所帶來的iPhone的新的體驗，以及用大模型去加持所有的應用，這些給蘋果帶來的消費市場機會，是其他巨頭難以奪走的。蘋果以隱私保護的名義，控制了第三方應用之間互相竄訪，這也讓蘋果商店成為自己未來AI應用的金礦。

  蘋果動作慢了嗎?生成式AI的幻覺問題，還有監管、隱私保護、版權糾紛等，這些問題都會令蘋果想得更深一些，考慮得更周全一些。蘋果有這樣的底氣，因為它在芯片、操作系統、應用、產品、制造等各個層面一體化的設計，最終所帶來的產品體驗創新性的深度，仍將可能是其競爭對手難以比擬的。

  OpenAI引發的“iPhone時刻”，已經尖叫好幾回了，但下一個蘋果，還是蘋果。更多股票資訊，關注財經365！