公布计划全新芯片将支持亿参数大模型

公布计划：全新芯片将支持亿参数大模型

7月15日消息，AMD近日在美国洛杉矶举行的技术日活动中公布了“NorthStar”（北极星）计划，未来推出的RyzenAIPC芯片将可支持以每秒100个Token的速度在本地运行300亿个参数的大型语言模型（LLM），实现3000的语义长度，并且首个Token生成的延迟要低于100毫秒。但是，要实现AMD提出的这个目标并不容易，这需要硬件和软件性能上的巨大提升。要知道AMD最新推出的代号为“StrixPoint”的AIPC芯片RyzenAI300系列在以4bit精度运行70亿参数的大语言模型，每秒只能生成20个T...