亚洲国产午夜真人一级片中文字幕精品黄,精品久久久噜噜噜久久久,国产区综合精品国产www,www.国产精品.com,国产美女的第一次好痛在线看,最新国产乱人伦偷精品免费网站,日本欧美一区二区三区不卡视频,精品久久久无码人妻字幂,国产午夜精品理论片,国产午夜精品久久久久免费视

手機是端側 AI 落地的最有力載體，30 NPU TOPS 算力或成基礎門檻
思瀚產業(yè)研究院    2024-06-07

為什么我們要關注大模型落地智能手機？

根據(jù) Canalys，智能手機的如下特征適合大模型落地：智能手機擁有龐大的裝機量：把 AI 應用集成到智能手機端側將有助于觸及更廣泛的受眾。到 2023年，全球智能手機的總裝機量將達到 50 億部，遠遠超過筆記本電腦加上臺式機的 14 億臺裝機量。并且對于發(fā)展中市場和年輕一代而言，這一數(shù)量差距將會更加顯著。

因為這部分群體大多已經(jīng)跳過了個人電腦時代，更多使用移動原生應用進行內容消費和社交媒體活動。智能手機便攜、使用場景多：口袋大小的尺寸能夠使手機更適合各種日常用途，使用場景涵蓋從通信到娛樂等多種需求。并且相比起在 PC 上更常用的生產力以及工作場景，手機相對日常的應用場景將會形成互補，從而幫助擴大 AI 在消費者數(shù)字生活中的影響力。

智能手機應用生態(tài)系統(tǒng)強大，可加速第三方 AI 應用成熟：與其他 IoT 設備（例如智能手表）相比，智能手機的應用市場生態(tài)更完善、應用開發(fā)者數(shù)量更多。強大的應用生態(tài)系統(tǒng)不僅有助于跨應用程序的無縫 AI 集成，也有利于通過茁壯發(fā)展的開發(fā)者社區(qū)創(chuàng)造多樣化的第三方 AI 應用。

AI 手機定義：因大模型走向端側的時日較短，產業(yè)界對 AI 手機的定義尚未統(tǒng)一，總體而言，都指向三個方面：

①能夠在手機上端側運行大模型；

②SoC 中包含 NPU 算力；

③滿足一定性能的量化指標。

根據(jù) Canalys，AI 手機應該滿足以下標準：

最低要求：滿足如下即可被稱為“AI 手機”。

SoC 包含能夠加速 AI 任務的專用單元（如高通 Hexagon、聯(lián)發(fā)科 APU、Google TPU）。? 智能手機應該能夠在端側運行 LLM（如 Google Gemini、三星 Gauss）和其他生產式 AI 模型（如Stable Diffusion）。

端側 LLM 的推理性能應快于成人的平均閱讀速度，相當于 10token/s（基于 LLaMa-2 7B 或同等水平）。

端側 AI 生成圖像的時間小于 2 秒（基于 Stable Diffusion v1.5，20 步，512*512 分辨率或同等水平）可選要求：可進一步提升用戶體驗。? 設備出廠時應預裝 LLM（如 Google Gemini、三星 Gauss）。

為第三方開發(fā)者提供生成式 AI 相關的 API 和 SDK，以便開發(fā)者將生成式 AI 驅動的功能集成于端側移動應用中。

在設備上預裝由廠商第一方開發(fā)的生成式 AI 功能，并保證其可以在端側高效運行。根據(jù) OPPO 與 IDC，新一代 AI 手機定義如下：

新一代 AI 手機（＞30 NPU TOPS）：這些手機使用能夠更快、更高效地運行端側 GenAI 模型的 SoC，并且使用 int-8 數(shù)據(jù)類型的 NPU 性能至少為 30 TOPS。端側 GenAI 的示例包括 Stable Diffusion 和各種大語言模型。

截至 2024 年 2 月，符合 IDC 要求的 SoC 有蘋果 A17 Pro、聯(lián)發(fā)科天璣 9300、高通驍龍 8Gen3。

根據(jù)聯(lián)發(fā)科與 Counterpoint 等聯(lián)合發(fā)布的《生成式 AI 手機產業(yè)白皮書》，生成式 AI 手機的定義如下：

生成式 AI 手機是利用大規(guī)模、預訓練的生成式 AI 模型，實現(xiàn)多模態(tài)內容生成、情境感知，并具備不斷增強的類人能力。

支持大模型本地部署，或是通過云端協(xié)同的方式執(zhí)行復雜的生成式 AI 任務。

生成式 AI 手機本身具備強大的 AI 算力，無需完全依賴云端服務器? 具備多模態(tài)能力，即可以處理文本、圖像、語言等多種形式的內容輸入，以生成各種形式的輸出，典型用例如翻譯、圖像生成和視頻生成等。

確保流暢、無縫的用戶體驗，設備能夠以自然而直觀的交互方式，快速響應用戶的請求。

擁有實現(xiàn)上述特征的硬件規(guī)格，包括但不限于基于領先工藝和先進架構設計的移動計算平臺，擁有集成或者獨立的神經(jīng)網(wǎng)絡運算單元（如 APU/NPU/TPU），大容量和高帶寬的內存，以及穩(wěn)定和高速的連接、硬件級和系統(tǒng)級的安全防御?？偨Y來看，我們認為 AI 手機具備四大特征：

AI 手機首先需要能夠高效地利用計算資源，以達到手機端部署生成式 AI 的條件；

AI 手機要能借助傳感器敏銳地感知真實世界，了解用戶與環(huán)境的復雜信息，主動提供服務；

AI 手機還需要擁有強大的自學習能力，能夠不斷理解用戶習慣，提供更有針對性的知識；

AI 手機還將具備更充沛的創(chuàng)作能力，為用戶提供持續(xù)的靈感與知識支持。這其中，30TOPS 的 NPU 算力有望成為基線配置。