Китайские разработчики внедрили вычисления в памяти для оптимизации работы LLM

В Китае представили систему гетерогенного вывода для больших языковых моделей, объединяющую国产 GPU и нейроморфные чипы. Разработка создана консорциумом из Mobile Cloud, институтов Nanhu и университетов Цинхуа и Пекина.

Механизм разделения нагрузки

В основе системы лежит разделение архитектуры Transformer на две части по типу вычислительной нагрузки: PD (Prefill) и AF (Attention/FFN). Вместо того чтобы выполнять весь цикл на одном типе процессоров, задачи распределяются так:

• GPU: берут на себя этап предварительной обработки (Prefill) и вычисление внимания (Attention).
• Нейроморфные чипы: обрабатывают блоки прямого feed-forward (FFN).

Эффект достигается за счет архитектуры нейроморфных чипов: использование вычислений в памяти (compute-in-memory) и больших объемов встроенной SRAM позволяет минимизировать задержки при передаче данных. Это решает проблему "узкого горлышка" пропускной способности памяти, к которой чувствительны FFN-модули.

Техническая реализация и результат

Для синхронизации двух разных типов архитектур разработчики создали собственный компилятор моделей, протокол высокоскоростного соединения и унифицированный движок вывода. Система позиционируется как аналог связки Nvidia Vera Rubin с ускорителями Groq.

Результаты тестов на модели DeepSeek V4 Flash (конфигурация: 3 GPU-сервера TensTorrent и 3 нейроморфных стойки):

Система вышла из стадии прототипа и перешла к мелкосерийному производству. Основное ограничение применения — необходимость специализированного ПО (компилятора и движка), разработанного под данную связку чипов.